Javascript获取来源网址页面的Html源码
作者:admin 日期:2012-10-16
百度蜘蛛Baiduspider名称说明
作者:admin 日期:2012-10-16
Baiduspider是百度搜索引擎的一个自动程序,它的作用是访问互联网上的网页,建立索引数据库,使用户能在百度搜索引擎中搜索到您网站上的网页。
百度各个产品使用不同的user-agent:
产品名称 | 对应user-agent |
---|---|
无线搜索 | Baiduspider |
图片搜索 | Baiduspider-image |
视频搜索 | Baiduspider-video |
新闻搜索 | Baiduspider-news |
百度搜藏 | Baiduspider-favo |
百度联盟 | Baiduspider-cpro |
商务搜索 | Baiduspider-ads |
网页以及其他搜索 | Baiduspider |
另外还有一种比较特殊的baidu+Transcoder,这个其实不是蜘蛛,是用户通过手机百度访问网站时,百度对网站进行了抓取后转码的工具。
如何判断是否伪造百度蜘蛛?
php正则验证md5字符串
作者:admin 日期:2012-10-16
php正则验证IP地址格式
作者:admin 日期:2012-10-16
php判断是否蜘蛛来访
作者:admin 日期:2012-10-16
PHP代码
- function is_robot() {
- if(strpos($_SERVER['HTTP_USER_AGENT'], '://') === false && preg_match("/(MSIE|Netscape|Opera|Konqueror|Mozilla)/i", $_SERVER['HTTP_USER_AGENT'])) {
- return false;
- } else if(preg_match("/(Spider|Bot|Crawl|Slurp|lycos|robozilla)/i", $_SERVER['HTTP_USER_AGENT'])) {
- return true;
- } else {
- return false;
- }
- }
php正则验证用户名
作者:admin 日期:2012-10-16
广告位