用shell脚本：批量检查网站日记中的Baiduspider的真假
工具/原料
或安装cygwin
或 搭建虚拟机 安装censtos.7
收集整理
1、案例展示# cat u_ex161127.log|grep Baiduspider|head -1u_ex161127.log 是日志文件
2、收集所有的Baiduspider的ip，展示前10个。# cat u_ex161127.log|grep Baiduspider|awk '{print $9}'|sort|uniq|head -10
3、将所有IP存入ip.txt# cat u_ex161127.log|grep Baiduspider|awk '{print $9}'|sort|uniq > ip.txt查看ip.txt中的ip数量# cat ip.txt|wc -l
批量检查
1、# 反查ip命令nslookup ip
2、# 批量检查ip是否是真实Baiduspider,存入Baidu-ip.txt# cat ip.txt|while read line;do nslookup $line|grep baiduspider|awk -F "baiduspider-" '{print $2}'|awk -F "." '{print $1}'|sed 's/-/\./g';done > baidu-ip.txt注：while .. ;do ...;done 是循环语句
