这个伪造蜘蛛IP121.14.212.93有点搞笑
作者:admin 日期:2012-11-02
同时伪装百度蜘蛛和谷歌蜘蛛。
实际并不搞笑，一个很低级的防止网站阻止抓取的方法。原因是很多网站阻止抓取的方法也很低级>_<
121.14.212.93 Mozilla/4.0+(compatible;++Baiduspider/2.0;
++http://www.baidu.com/search/spider.html
++Googlebot/2.1;++http://www.google.com/bot.html) 200 0 0
是个私服网站IP。服务器IP位于广东省中山市。
是为了防止有些网站通过简单的包含判断是不是蜘蛛。
[本日志由 admin 于 2012-11-02 09:23 PM 更新]
上一篇: 用.htaccess关闭PHP错误显示
下一篇: google英文相关长尾关键词采集器 
文章来自: 本站原创
引用通告: 查看所有引用 | 我要引用此文章
Tags: 百度 
相关日志:
评论: 0 | 引用: 0 | 查看次数: 3140
发表评论
广告位
