跟百度学写Robots.txt
作者:admin 日期:2012-10-26
搜索主站：
http://www.baidu.com/robots.txt
禁止所有搜索引擎抓取，特别列出了几个主要的引擎：谷歌、搜搜、搜狗、百度、MSN、即刻、百度图片
最后禁止所有：
User-agent: *
Disallow: /
百度知道：
http://zhidao.baidu.com/robots.txt
允许主要搜索引擎抓取，但不包括360搜索，呵呵。最后禁止所有抓取。
百度百科：
http://baike.baidu.com/robots.txt
允许部分搜索引擎抓取部分内容，同样不包括360搜索。对即刻、搜搜、MSN、有道比较友好。最后同样禁止所有抓取。
上一篇: 
下一篇: 
文章来自: 
引用通告: 
Tags: 
相关日志:
评论: 0 | 引用: 0 | 查看次数: 2198
发表评论
广告位
