Linux

一次惨痛的教训！ rm -rf access.log 【这种方法是错的！】 本以为日志文件删了，再有日志写进来会自动生成～ but, what the fuck~ 网站可以正常方问，但是不生成日志了～不生成日志了～ 作为了个 spider & seoer ，没有网站访问日志 ，还做个毛线啊～ So~ 花了一个下午，把服务器重装重统了，环境重新部署了～ 下边，来说一下，正确的 清理nginx日志的方法 1、到日志存放目录下 cd /usr/local/nginx/logs 2、执行以下命令 truncate -s 0 access.log 3、完成，日志文件大小清零，安全、快速、没有副作用～

自古以来，爬虫 与 反爬虫 就是一个自相矛盾的问题。 A：我什么样的网站都能爬，我牛X～ B：你吹牛(A后面那个字母), 你爬我的试试～ 作为，一个专业的爬虫工作人员，请你在对别人的网站进行爬取时，请随机一下 UserAgent，这既是对你自己的尊重，又是对对手的尊重。 下边我们进入正题，说一下，作为一个专业的爬虫选手，如何通过Nginx 进行反爬～ 一、重要的事情说三遍，黑名单，黑名单，黑名单～ 二、下面来说一下步骤 1、在nginx的conf 目录下，新建 blocksip.conf 文件 （touch blocksip.conf） 2、禁止某一个具体ip时，在 blocksip.conf 中添加 ,切记以分号结尾 deny 123.123.123.123; 3、允许或禁止所有ip # block all ips de

1、长话短说，依次执行以下命令 yum install gcc-c++ yum install -y pcre pcre-devel yum install -y zlib zlib-devel yum install -y openssl openssl-devel 2、直接下载.tar.gz安装包， 地址：https://nginx.org/en/download.html 选 Stable version 中间的 链接 可以通过 wget -c https://nginx.org/download/nginx-1.12.0.tar.gz 或者先下载到本地，然后用 Put 上传到服务器 3、对压缩包解压 tar -zxvf nginx-1.18.0.tar.gz cd nginx-1.18.0 4、配置nginx 其实在 n

1、ssh-keygen -t rsa -C "your_email@example.com" 2、一路回车 3、见到 以下结果 表示 操作成功 Your identification has been saved in /root/.ssh/id_rsa. Your public key has been saved in /root/.ssh/id_rsa.pub. 4、vi /root/.ssh/id_rsa.pub. 5、复制第四部的内容 6、登录 git 7、右上角，头像 settings - SSH and GPG keys -new ssh keys 8、进入服务器，到指定代码拉取下来的位置 9、git clone git@************* 10、It''s ok~

1、安装Chrome yum install https://dl.google.com/linux/direct/google-chrome-stable_current_x86_64.rpm 2、安装Selenium pip3 install selenium 3、下载ChromeDriver (注意：chromedriver 的大版本，要与Chrome 的大版本一致) wget http://npm.taobao.org/mirrors/chromedriver/80.0.3987.16/chromedriver_linux64.zip 4、解压chromedriver unzip chromedriver_linux64.zip 5、将解压后的chromedriver 复制到 /user/bin 下 cp /root/c

1、连接堡垒机 2、正常情况下，需要通过 ssh 连接后，输入密码连接，如： ssh [目标机ip] -l root -p 2222 ssh 192.168.1.100 -l root -p 2222 执行后，会要求，输入目标机的密码,即可连接 3、我们目前情况下，采集服务机开通后，需要告知运维，开通的机器与哪台堡垒机关联， 运维操作关联后，即可直接在堡垒机 执行 ssh [目标机ip]，无需再输入密码 如：ssh 192.168.1.100 4、连接到目标机后，如果退出返回堡垒机“ 执行 exit 命令，即可

1、安装前要手动安装下依赖包，可以直接是用yum安装 yum install -y wget yum install gcc yum install gcc-c++ yum install -y zlib-devel yum install -y perl-ExtUtils-MakeMaker package 2、下载最新版本的git源码包，当然是要去官网下载了。我现在的最新版本是 git-2.18.0 wget https://mirrors.edge.kernel.org/pub/software/scm/git/git-2.18.0.tar.gz 3、接下来就是解压，配置，安装了，也不复杂 tar -zxvf git-2.18.0.tar.gz cd git-2.18.0 ./configure --prefix=/usr/local/git make make

1、 首先，确认一下，环境变量里，是否有git 配置 如果没有，则依次执行以下命令 （1）cd ~ ,进入用户根目录 (2) vi .bashrc ,打开 bash 文件 (3) 按 “i” 键，进入编辑状态 (4) 在文件最后，追加 以下 两个环境变成 export PATH=$PATH:/usr/local/git/bin export PATH=$PATH:/usr/local/git/libexec/git-core (5) 执行，source .bashrc ，注意：如果不执行该命令，则修改的环境变量，要服务器重启后，才会生效 2、如果环境变量，存在且正常，则按以下步骤检查 (1) 进入 /usr/local/git/libexec/git-core (2) 检查目录中，中否存在 git-remote-http

sudo vi /etc/hosts 然后，向host 中，添加内容即可

.tar 解包：tar xvf FileName.tar 打包：tar cvf FileName.tar DirName （注：tar是打包，不是压缩！） ——————————————— .gz 解压1：gunzip FileName.gz 解压2：gzip -d FileName.gz 压缩：gzip FileName .tar.gz 和 .tgz 解压：tar zxvf FileName.tar.gz 压缩：tar zcvf FileName.tar.gz DirName ——————————————— .bz2 解压1：bzip2 -d FileName.bz2 解压2：bunzip2 FileName.bz2 压缩： bzip2 -z FileName .tar.bz2 解压：tar jxvf FileName.tar.bz2 压缩：tar jcvf FileName.t