• 2020/7/19 22:25:24
  • Post By 高景洋
一次惨痛的教训! rm -rf access.log 【这种方法是错的!】 本以为日志文件删了,再有日志写进来会自动生成~ but, what the fuck~ 网站可以正常方问,但是不生成日志了~不生成日志了~ 作为了个 spider & seoer ,没有网站访问日志 ,还做个毛线啊~ So~ 花了一个下午,把服务器重装重统了,环境重新部署了~ 下边,来说一下,正确的 清理nginx日志的方法 1、到日志存放目录下 cd /usr/local/nginx/logs 2、执行以下命令 truncate -s 0 access.log 3、完成,日志文件大小清零,安全、快速、没有副作用~
查看全文 | 浏览次数(189)
  • 2020/7/19 22:11:40
  • Post By 高景洋
自古以来,爬虫 与 反爬虫 就是一个自相矛盾的问题。 A:我什么样的网站都能爬,我牛X~ B:你吹牛(A后面那个字母), 你爬我的试试~ 作为,一个专业的爬虫工作人员,请你在对别人的网站进行爬取时,请随机一下 UserAgent,这既是对你自己的尊重,又是对对手的尊重。 下边我们进入正题,说一下,作为一个专业的爬虫选手,如何通过Nginx 进行反爬~ 一、重要的事情说三遍,黑名单,黑名单,黑名单~ 二、下面来说一下步骤 1、在nginx的conf 目录下,新建 blocksip.conf 文件 (touch blocksip.conf) 2、禁止某一个具体ip时,在 blocksip.conf 中添加 ,切记以分号结尾 deny 123.123.123.123; 3、允许或禁止所有ip # block all ips de
查看全文 | 浏览次数(204)
  • 2020/7/14 15:52:32
  • Post By 高景洋
uwsgi -d --ini uwsgi.ini 运行上边的命令 即可让uwsgi 以守护进程方式运行
查看全文 | 浏览次数(206)
  • 2020/7/14 0:12:12
  • Post By 高景洋
1、长话短说,依次执行以下命令 yum install gcc-c++ yum install -y pcre pcre-devel yum install -y zlib zlib-devel yum install -y openssl openssl-devel 2、直接下载.tar.gz安装包, 地址:https://nginx.org/en/download.html 选 Stable version 中间的 链接 可以通过 wget -c https://nginx.org/download/nginx-1.12.0.tar.gz 或者先下载到本地,然后用 Put 上传到服务器 3、对压缩包解压 tar -zxvf nginx-1.18.0.tar.gz cd nginx-1.18.0 4、配置nginx 其实在 n
查看全文 | 浏览次数(191)
  • 2020/7/13 23:28:23
  • Post By 高景洋
1、ssh-keygen -t rsa -C "your_email@example.com" 2、一路回车 3、见到 以下结果 表示 操作成功 Your identification has been saved in /root/.ssh/id_rsa. Your public key has been saved in /root/.ssh/id_rsa.pub. 4、vi /root/.ssh/id_rsa.pub. 5、复制第四部的内容 6、登录 git 7、右上角,头像 settings - SSH and GPG keys -new ssh keys 8、进入服务器,到指定代码拉取下来的位置 9、git clone git@************* 10、It''s ok~
查看全文 | 浏览次数(203)
  • 2020/3/23 19:25:32
  • Post By 高景洋
1、安装Chrome yum install https://dl.google.com/linux/direct/google-chrome-stable_current_x86_64.rpm 2、安装Selenium pip3 install selenium 3、下载ChromeDriver (注意:chromedriver 的大版本,要与Chrome 的大版本一致) wget http://npm.taobao.org/mirrors/chromedriver/80.0.3987.16/chromedriver_linux64.zip 4、解压chromedriver unzip chromedriver_linux64.zip 5、将解压后的chromedriver 复制到 /user/bin 下 cp /root/c
查看全文 | 浏览次数(389)
  • 2020/3/3 11:19:51
  • Post By 高景洋
python3 https 请求 报以下错误: /usr/local/python3/lib/python3.7/site-packages/urllib3/connectionpool.py:1004: InsecureRequestWarning: Unverified HTTPS request is being made. Adding certificate verification is strongly advised. See: https://urllib3.readthedocs.io/en/latest/advanced-usage.html#ssl-warnings InsecureRequestWarning, 解决办法: import urllib3 在请求请添加 如下一行: urllib3.disabl
查看全文 | 浏览次数(787)
  • 2020/2/27 10:34:30
  • Post By 高景洋
1、连接堡垒机 2、正常情况下,需要通过 ssh 连接后,输入密码连接,如: ssh [目标机ip] -l root -p 2222 ssh 192.168.1.100 -l root -p 2222 执行后,会要求,输入目标机的密码,即可连接 3、我们目前情况下,采集服务机开通后,需要告知运维,开通的机器与哪台堡垒机关联, 运维操作关联后,即可直接在堡垒机 执行 ssh [目标机ip],无需再输入密码 如:ssh 192.168.1.100 4、连接到目标机后,如果退出返回堡垒机“ 执行 exit 命令,即可
查看全文 | 浏览次数(393)
  • 2020/2/25 11:16:47
  • Post By 高景洋
1、安装前要手动安装下依赖包,可以直接是用yum安装 yum install -y wget yum install gcc yum install gcc-c++ yum install -y zlib-devel yum install -y perl-ExtUtils-MakeMaker package 2、下载最新版本的git源码包,当然是要去官网下载了。我现在的最新版本是 git-2.18.0 wget https://mirrors.edge.kernel.org/pub/software/scm/git/git-2.18.0.tar.gz 3、接下来就是解压,配置,安装了,也不复杂 tar -zxvf git-2.18.0.tar.gz cd git-2.18.0 ./configure --prefix=/usr/local/git make make
查看全文 | 浏览次数(367)
  • 2020/2/24 14:57:50
  • Post By 高景洋
1、 首先,确认一下,环境变量里,是否有git 配置 如果没有,则依次执行以下命令 (1)cd ~ ,进入用户根目录 (2) vi .bashrc ,打开 bash 文件 (3) 按 “i” 键,进入编辑状态 (4) 在文件最后,追加 以下 两个环境变成 export PATH=$PATH:/usr/local/git/bin export PATH=$PATH:/usr/local/git/libexec/git-core (5) 执行,source .bashrc ,注意:如果不执行该命令,则修改的环境变量,要服务器重启后,才会生效 2、如果环境变量,存在且正常,则按以下步骤检查 (1) 进入 /usr/local/git/libexec/git-core (2) 检查目录中,中否存在 git-remote-http
查看全文 | 浏览次数(570)
相关文章
友情链接
支付宝打赏(内容对您有帮助的话)
微信交流
知乎编程经验网 - 在工作中总结编程的经验! 备案/许可证编号:鲁ICP备11020152号
QQ:120217215 联系电话:15192695151