通过蜘蛛IP分析你网站是否被K
作者:admin 日期:2012-10-17
通过蜘蛛IP分析你网站是否被K内页是否有被抓取或者网址是否抓取成功。
本文只贡参考让大家对IIS日记各引擎的蜘蛛IP有个更深的了解.以次来断定网站目前的状态情况.下面我们专说百度蜘蛛爬过的每个不一样的IP代表什么!
根据不同的IP我们可以分析网站是个怎样的状态.下面就按照我IIS日记上的百度蜘蛛IP为例:
123.125.68.*这个蜘蛛经常来,别的来的少,表示网站可能要进入沙盒了，或被者降权。
220.181.68.*每天这个IP 段只增不减很有可能进沙盒或K站。
220.181.7.*、123.125.66.* 代表百度蜘蛛IP造访，准备抓取你东西。
121.14.89.*这个ip段作为度过新站考察期。
203.208.60.*这个ip段出现在新站及站点有不正常现象后。
210.72.225.*这个ip段不间断巡逻各站。
125.90.88.* 广东茂名市电信也属于百度蜘蛛IP 主要造成成分，是新上线站较多，还有使用过站长工具，或SEO综合检测造成的。
220.181.108.95这个是百度抓取首页的专用IP，如是220.181.108段的话，基本来说你的网站会天天隔夜快照，绝对错不了的，我保证。
220.181.108.92 同上98%抓取首页，可能还会抓取其他 (不是指内页)220.181段属于权重IP段此段爬过的文章或首页基本24小时放出来。
123.125.71.106 抓取内页收录的，权重较低，爬过此段的内页文章不会很快放出来，因不是原创或采集文章。
220.181.108.91属于综合的，主要抓取首页和内页或其他，属于权重IP 段，爬过的文章或首页基本24小时放出来。
220.181.108.75重点抓取更新文章的内页达到90%，8%抓取首页，2%其他。权重IP 段，爬过的文章或首页基本24小时放出来。
220.181.108.86专用抓取首页IP 权重段，一般返回代码是304 0 0 代表未更新。
123.125.71.95 抓取内页收录的，权重较低，爬过此段的内页文章不会很快放出来，因不是原创或采集文章。
123.125.71.97 抓取内页收录的，权重较低，爬过此段的内页文章不会很快放出来，因不是原创或采集文章。
220.181.108.89专用抓取首页IP 权重段，一般返回代码是304 0 0 代表未更新。
220.181.108.94专用抓取首页IP 权重段，一般返回代码是304 0 0 代表未更新。
220.181.108.97专用抓取首页IP 权重段，一般返回代码是304 0 0 代表未更新。
220.181.108.80专用抓取首页IP 权重段，一般返回代码是304 0 0 代表未更新。
220.181.108.77 专用抓首页IP 权重段，一般返回代码是304 0 0 代表未更新。
123.125.71.117 抓取内页收录的，权重较低，爬过此段的内页文章不会很快放出来，因不是原创或采集文章。
220.181.108.83专用抓取首页IP 权重段，一般返回代码是304 0 0 代表未更新。
注：以上IP尾数还有很多，但段位一样的123.125.71.*段IP 代表抓取内页收录的权重比较低.可能由于你采集文章或拼文章暂时被收录但不放出来.(意思也就是说待定)。
220.181.108.*段IP主要是抓取首页占80%，内页占30%，这此爬过的文章或首页，绝对24小时内放出来和隔夜快照的，这点我可以保证!
一般成功抓取返回代码都是 200 0 0返回304 0 0代表网站没更新，蜘蛛来过，如果是 200 0 64别担心这不是K站，可能是网站是动态的，所以返回就是这个代码。
好了,今天暂时就简单大致介绍一点吧..你们可以按照以上的IP段来判断自己网站现在是个什么样的了!可以说95%准!
来源：http://wenku.baidu.com/view/f2c027310b4c2e3f572763e3.html
robots.txt用法
作者:admin 日期:2012-07-06
robots.txt文件用法举例来自百度百科：
| 例1.禁止所有搜索引擎访问网站的任何部分 | User-agent: * Disallow: / |
| 例2.允许所有的robot访问 (或者也可以建一个空文件 "/robots.txt") |
第1种写法 User-agent: * Allow: / 第2种写法 User-agent: * Allow: 第3种写法 User-agent: * Disallow: |
| 例3. 仅禁止Baiduspider访问您的网站 | User-agent: Baiduspider Disallow: / |
| 例4. 仅允许Baiduspider访问您的网站 | User-agent: Baiduspider Allow: / |
| 例5. 禁止spider访问特定目录 在这个例子中，该网站有三个目录对搜索引擎的访问做了限制，即robot不会访问这三个目录。需要注意的是对每一个目录必须分开声明，而不能写成 "Disallow: /cgi-bin/ /tmp/"。 |
User-agent: * Disallow: /cgi-bin/ Disallow: /tmp/ Disallow: /~joe/ |
| 例6. 允许访问特定目录中的部分url | User-agent: * Allow: /cgi-bin/see Allow: /tmp/hi Allow: /~joe/look |
| 例7. 使用"*"限制访问url 禁止访问/cgi-bin/目录下的所有以".htm"为后缀的URL(包含子目录)。 |
User-agent: * Disallow: /cgi-bin/*.htm |
| 例8. 使用"$"限制访问url 仅允许访问以".htm"为后缀的URL。 |
User-agent: * Allow: / .htm$ |
| 例9. 禁止访问网站中所有的动态页面 | User-agent: * Disallow: /*?* |
| 例10. 禁止Baiduspider抓取网站上所有图片 仅允许抓取网页，禁止抓取任何图片。 |
User-agent: Baiduspider Disallow: /*.jpg$ Disallow: /* .jpeg$ Disallow: /* .gif$ Disallow: /* .png$ Disallow: /*.bmp$ |
| 例11. 仅允许Baiduspider抓取网页和。gif格式图片 允许抓取网页和gif格式图片，不允许抓取其他格式图片 |
User-agent: Baiduspider Allow: .gif$ Disallow: /.jpg$ Disallow: / .jpeg$ Disallow: / .png$ Disallow: /.bmp$ |
| 例12. 仅禁止Baiduspider抓取。jpg格式图片 | User-agent: /Baiduspider Disallow: /.jpg$ |
301永久重定向实现方式及302重定向
作者:admin 日期:2012-07-01
在我们的网站建设中，时常会遇到需要网页重定向的情况：象网站调整，如改变网页目录结构，网页被移到一个新地址，再或者，网页扩展名改变，如因应用需要把.php改成.Html或.shtml，在这种情况下，如果不做重定向，则用户收藏夹或搜索引擎数据库中旧地址只能让访问客户还会得到一个404页面错误信息，访问流量白白丧失；再如某些注册了多个域名的网站，也需要通过重定向让访问这些域名的用户自动跳转到主站点，等等。
常用的重定向方式有: 301 redirect, 302 redirect 与 meta fresh：
301 redirect: 301代表永久性转移(Permanently Moved)，301重定向是网页更改地址后对搜索引擎友好的最好方法，只要不是暂时搬移的情况,都建议使用301来做转址。
302 redirect: 302代表暂时性转移(Temporarily Moved )，在前些年，不少Black Hat SEO曾广泛应用这项技术作弊，目前，各大主要搜索引擎均加强了打击力度，象Google前些年对Business.com以及近来对BMW德国网站的惩罚。即使网站客观上不是spam，也很容易被搜寻引擎容易误判为spam而遭到惩罚。
meta fresh: 这在2000年前比较流行，不过现在已很少见。其具体是通过网页中的meta指令，在特定时间后重定向到新的网页，如果延迟的时间太短(约5秒之內)，会被判断为spam。
301 Redirect实现网页重定向
IIS服务器实现301重定向
* 打开internet信息服务管理器，在欲重定向的网页或目录上按右键
* 选择“重定向到URL”
* 在“重定向到”输入框中输入要跳转到的目标网页的URL地址
* 选中“资源的永久重定向”（切记）
* 最后点击“应用”
Apache服务器实现301重定向
相比较来说，Apache实现起来要比IIS简单多了。在Apache中，有个很重要的文件.htaccess，通过对它的设置，可以实现很多强大的功能，301重定向只是其中之一。
Redirect permanent / http://www.bloghuman.com/ (将目录下内容重定向到http://www.bloghuman.com/ )
redirect permanent /index.php http://www.bloghuman.com/category/website-optimization/(将网页index.php重定向到http://www.bloghuman.com/category/website-optimization/)
通过合理地配置重定向参数中的正则表达式，可以实现更复杂的匹配。有兴趣的朋友可参考本站Apache手册。
PHP下的301重定向
<?
Header( "HTTP/1.1 301 Moved Permanently" ) ;
Header( "Location: http://www.bloghuman.com" );
?
ASP下的301重定向
<%@ Language=VBScript %>
<%
Response.Status="301 Moved Permanently"
Response.AddHeader "Location","http://www.bloghuman.com"
%>
百度关键字采集器v1.2正式发布！
作者:admin 日期:2010-06-01
百度关键字采集器V1.1演示视频及下载
作者:admin 日期:2010-04-29
2012年5月8日，更正由于百度编码变化而引起的乱码问题！
点击下载此文件[2012年5月8日]
原来的1.0不能用了，今天改了一下：）也学别人做个视频，呵呵~
2010年5月12日 今天精简了程序，修复了一个重要的BUG，经过测试可以说已经是无错版了！
软件下载：点击下载此文件
Admin5站长网下载 CHINAZ中国站长站下载
最新消息：V1.2已经开发完成，不提供下载，购买价格100元/套，功能更强，更好用！！！演示视频
如果你对本软件有什么意见或建议，欢迎给我提出：
访问我的留言簿
本站承接各种网站数据采集业务，也可以定制采集软件，欢迎各位站长联系！QQ：
搜索引擎的三大终极定律
作者:admin 日期:2010-01-03
第一定律：相关性定律
相关性定律是基于搜索引擎检索系统的，相关性定律主要是基于词频统计，当用户在搜索引擎首页输入检索词时，搜索引擎去找那些检索词在文章(网页) 中出现频率较高的，位置较重要的，再加上一些对检索词本身常用程度的加权，最后排出一个结果来(检索结果页面) 。也就是说如果你一个站点里面关键词出现的次数较多，相关性就越强，就越有利于排名，但是有一定要注意，就是不能形成关键词堆砌了，这样的话文章是较难被收录的。还有就是关键词出现的位置，比如标题靠前的位置，文章靠前的位置等等。这些都是关键。
第二定律：人气质量定律
科学引文索引的机制告诉我们一个道理，就是谁的论文被其他人文章引用的次数越多，谁就被认为是权威，论文就是好论文。不能得出，一个网站也是同样的道理，如果你的网站链接被引用的越多，那么你的网站就是好网站，就是被足够的重视。在这里我们还要注意一个“超链接文本”。我们既然知道站点链接被互联网其他站点所引用的次数越多就足够说明你的站点越好。但是引用链接里面所包含的具体关键词就能够反映你的站点在那些方面较为突出。这样你的站点排名就较好。
第三大定律：用户点击定律
我们都知道，同样排名前20名的站点，用户会有一个选择的，一般来说用户是先找寻排名比较靠前的网站，但是如果他们没有找到他们所要的资料，那么他们就会继续找下去，直到找到自己的页面为止。一般对网站点击率产生影响的因素是2个。第一个就是你在搜索引擎索引列表中显示的标题和描述，这个对用户有极大的引导性。第二个就是你本身的内容对于这个关键词的相关性和质量度，比如搜索的关键词和你排名的页面内容是不是符合大众需求的内容。如果是，那么你的点击率肯定会迅速提升，这样就造成排名靠后的站点流量大于排名靠前的，这个时候就提供给搜索引擎一个信息，你的站点质量非常好，他就会根据算法把你的站点排到最前面。
总结：搜索引擎三大定律是一个基础知识，希望大家认真学习和领悟，并且把他关联到我们网站上面去，具体布局优化的细节。这样才能够对我们站点创造一个质量和流量很大的提升空间。
搜索引擎是怎么侦测站群的？
作者:admin 日期:2009-04-14
首先风采依扬先解析一下什么是站群，站群是SEO人员建立几十个或者上百个能被搜索引擎爬行的站点这样他们就能够获得成百上千个链接来推进搜索排名。
你可能已经知道，站群比起其他类型的一些链接，如双向链接或者内部链接，搜索引擎更重视相似网站的链接，如：单向的链接。你可能不相信搜索引擎可以识别出每一种类型的链接，不过它们确实是可以做的，风采依扬利用手头上的几百个网站反复的做了一些测试。发现搜索引擎不断地改变算法来侦测这些站群。搜索引擎试图给这些链接进行降级，那么他是怎么样来侦测那站群：
一、相似的IP地址：
域名可能有很大的差异，但它们的IP地址可能是相似的。IP地址由一系死的区域组成，称为A区域，B区域等等。如：网站的IP地址是58.63.91.83，其中A区域是58，B区域是63，C区域是91，D区域是83。而另一个网站的IP是58.63.91.86，它们应该是有同样的IP地址，直到C区域都是一样的，搜索引擎会认为这二个站被放在相同的地方并且很可能彼此相关。这些网站之间的链接会被搜索引擎减分。
使用检查域名IP地址工具推荐：
domaintools网站：http://www.domaintools.com
webhosting网站：http://whois.webhosting.info
国内的中国站长站(http://tool.chinaz.com)也有一些查询工具。
二、相似的Whois信息：
我们都知道当你注册域名时，作为域名的所有者提供了自己或者你公司的信息—这信息是存在Whois数库中可以被任何人查看。如果彼此链接着的域名在他们的Whois条目中有相同的姓名，电话号码或者地址邮箱等等。搜索引擎可能会降低这些链接的价值，降低了网站的权重。
检查域名Whois信息推荐：
万网：http://www.net.cn
domaintools网站：http://www.domaintools.com
domainwhitepages网站：http://www.domainwhitepages.com/
当然还是很多查询Whois信息的网站。
不要把所有热门的关键词都堆砌在首页~
作者:admin 日期:2007-07-08
就是这样做的：）
垃圾站制作注意事项
作者:admin 日期:2007-07-01
- 程序制作，目录不要太深
- 主题选择，娱乐是永恒的主题，最好选择一些新的主题，重复了N遍的内容很难排到前面。
- 内容要定期更新，不要搞成死站
- 垃圾站模板优化，meta的keyword不重要，直接写标题就可以。广告及不相关内容用js调用。相关内容链接做好，最好有上一篇下一篇。文字链接的title和图片的简介不要空着，正确填写。
- 广告用js调用，方便修改。短信注册提成类广告页面应该简洁、干净。点击类广告放在正文前后。右侧擎天柱广告效果很好。
- 百度收录与防K，避免一些太热门的话题。别堆砌关键字。避免互联网重复N次的内容。
各种页面参数在百度搜索引擎的权重
作者:admin 日期:2007-06-13
按100分算
标题： 100
外部链接：90
域名： 80
H1 H2 字号标题：70
相似度（关键词堆积）：65
文章首句： 60
路径或文件名：50
Meta描述（Des cription）：10
Meta关键词（Keywords）：10
alt标记：10
加粗或斜体：5
------------------------------------------------
长期实践，作弊也好优化也罢随便怎么说。
百度对标题<title>抓取远远大于其他引擎。故我们在写文章标题时候应该注意一点技巧。
例如：文章原来标题是：北京开往东北方向列车车票全线吃紧 那么我们可以这样做：北京开往东北方向列车车票全线吃紧-北京春运
误区 ：标题--网站名
外部链接：相对而言很难直接一下子看出他的作用。但百度排名、提交收录时间长短、更新周期很大程度和外部链接有关（初步判断）
域名：不可否认百度是中文搜索，热门的关键字你注册一个拼音的域名去做，很容易就上第一页。
H1 H2 字号标题：相对多少号字，加粗，等而言H1 H2效果更加明显！
相似度（关键词堆积）：不用说。地球人都知道，但是最好不要同一个页面出现很多次同一个关键字，不然上得快拔得更加快。
文章首句： 百度搜索到文章，一般会显示首句文字。重要性不可忽略。
路径或文件名： 百度支持抓取中文文件名的网站。故文件名取法 ： 拼音>中文>英文>数字 。。显然支持中文文件名。但很多浏览器不能识别。
Meta描述（Des cription）：写句通顺的话上去就行。
Meta关键词（Keywords）：对百度好想没用，不过写上去等GOOGLE吧
alt标记：10 写太多 了就堆得好象厉害了点。。。对百度作用也不大。
网站对搜索引擎的优化细节
作者:admin 日期:2007-06-12
1.网站的文件目录最好不要超过3层。
如：www.jlist.cn/dir/dir/dir/index.html
2.URL的取名越短越好！最好不用动态的URL。
如：.asp，.php后缀的。
3.网站中的面包屑提示都应该加上链接。
如：网站首页 > 业界文摘 > 网站对搜索引擎的优化细节
4.网站的导航要用文字链接形式的。切记不要用图片，和花俏的FLASH啦！
5.网站制作网站地图的时候，应该用文字链接表达，结构清晰，单页中有上百个链接时最好分页！
6.网页中代码的嵌套最好不要超过三层（虽然我有时候经常不经意的干这种事：）
如：<div><div><div></div></div></div>
7.记得在网上看到过一个实验：图片属性中的alt注名:google能搜索到，baidu不行，搜狗不行，SOSO行，iask不行。
8.<h1>标签是搜索引擎十分重视的，但请不要滥用！
9.抓取深度：静态页面中链接过去的动态页面对搜索引擎爬虫可抓取，反之效果不佳。
以上所写内容都是网站在不受外部影响下，网站自身对搜索引擎友好的优化工作。
搜索引擎优化的五大技术难题
作者:admin 日期:2007-06-12
FLASH如果运用得当，可以为网站增色不少。但若运用不当，不但会为网站带来用户体验方面的种种问题，而且还会很大程度地影响到网站的搜索引擎排名。许多网民都有打开一个网站，首先展现眼前的是一个纯图片介绍或FLASH介绍信息的经历。
FLASH主要是一个电影，同时它还具备构成一个网页的能力。我们可以在FLASH中内嵌入链接和文字来创建一个看上去很标准的网页。可是由于这些数据被存储在网站的托管服务器上，后缀为.SWF的图形文件中，对于搜索引擎的爬行索引程序来说，它们无法读取并记录这些数据。糟糕的是，有些网站甚至彻头彻尾都用的是FLASH。对于这样的网站，可以建立一个标准的HTML页面，然后把FLASH内嵌到该标准网页中。FLASH的开发商Macromedia公司正着手开发一个更新的对搜索引擎具备友好性的升级版本。不过在这个新版本发布之前，那些纯粹使用FLASH的站点想要在搜索引擎中获得前十名的可能性几乎很渺茫。
优化难点之二：内容管理系统(CMS)
内容管理系统(CMS)的出现，满足了人们自己创建、发布和更新网站而又不必懂技术的要求。对于那些需要频繁更新或拥有大量投稿群的网站公司来说，CMS系统无疑能够为他们带来切实的经济利益。CMS在房地产业和一些小型零售业中的应用尤为广泛。
现在CMS程序已达上百种之多。但遗憾的是，首先，在这上百种形形色色的CMS程序中，真正能够对搜索引擎具有友好性的却寥寥无几。而且由于CMS的类型非常之多，一旦搜索引擎优化人员遇到从前没有遇到过的新类型CMS，那么他们在对网站实施优化前，就必须先要突击学习这种CMS系统。其次，CMS系统往往还会为搜索引擎优化人员对于站内的单独页面进行标题及其它元标识的优化工作增加相当程度的难度。此外，许多CMS系统的文件命名设置的默认值较为笨拙，常常会用象“page1.htm”或“nextpage.php”这样毫无意义的名字。正是上述三个问题使得优化人员在对用CMS系统设计的网站进行优化时常会遭遇重重困难。而且很大程度上限制住了优化人员的手脚，影响了对网站的整体优化力度，达不到预期的排名效果。
优化难点之三：Frames
网站设计者们往往利用Frame来实现工具栏导航功能，即将一个页面(浏览器窗口)分割成两到多个活动区域，并在其中一个区域内放置静态菜单页面。无论用户访问网站的什么位置，静态菜单页面部分是始终不变的。其好处是导航清晰，而且由于不必在每个内容页面中再包含菜单项目，减少了代码量。
困扰搜索引擎对Frames型站点的检索的主要问题frame-set被写入源代码的方式。当我们在浏览一个使用Frames设计的网页， 我们其实是在浏览至少三个文件。这些文件被编译到一起，使它们看起来是一个文件。第一个文件就是frame设置文件(frame-set)。然后该文件再调用剩下的其它页面，并让它们在页面上逐次出现，这样就能达到看起来好象一个页面的效果。
当搜索引擎的爬行程序在源代码之间穿梭时，它们也只能看到文件名，但看不到实际的文件或文件内容本身。对Frames的优化可以通过诸如<noframes>元标识优化之类的方法进行，但这些方法都比不上一个设计适当的普通HTML文件来的有效。
优化难点之四：购物系统(Shopping Carts)
购物系统不仅实现了商务电子化，而且它满足了人们可以直接从网上购物的需要。但遗憾的是，大部分购物系统软件都对搜索引擎缺乏友好性。对于网上商店来说，我推荐大家使用Apple Pie Cart系统，这是一款具有客户获得特性的购物系统。其设计者为罗伯特.李，为W3C(World Wide Web Consortium互联网联合组织)的会员，也是一名资深网站开发人员。在设计该款购物系统时，罗伯特对搜索引擎的性能进行了全面的考虑。当然，市场中不乏同样对搜索引擎具有友好性的其它种类的购物系统，但这是我见过的对搜索引擎的爬行程序最开放的一款购物系统。
优化难点之五：图片型索引页/主页
图片型索引页/主页的优化处理也是相当棘手的。许多设计人员在兴致勃勃地为网站创建一个绚丽无比的“封面”，却忽略了搜索引擎所需要的文本信息。因而，这样的设计虽然可能会让网站看起来如其企业一般极具组织性和有效性，但是一个纯图片型的首页却往往会被搜索引擎的爬行程序所忽略掉，因为在这个页面上只有图片，而没有任何可供其读取和记录的文本内容。
图片型网页的设计者往往习惯于在图片上加链接，而不是提供文本链接让搜索引擎可以跟进检索网站中的其它页面，这样一来，由于搜索引擎的检索程序不跟进图片链接，那么图片中所包含的链接就很有可能被搜索引擎忽略。
编后语：当然，让搜索引擎优化人员感到头疼的远不止这些技术和设计方法。不过迄今为止，上述五种是优化人员最感棘手，最具挑战性，甚至个别目前尚无法得到根本解决的技术或设计方法。同时，有必要再次提醒大家的是：软件设计人员和搜索引擎工程师们都在努力克服这种状况：即要实现无论网站采用何种设计方式，搜索引擎的爬行程序都能够顺利地进行遍历和记录。不过就目前而言，网站设计人员在网站建设中还是应该避开这些问题，因为这样的设计不但需要深厚的设计功底，还需要具备搜索引擎优化方面的丰富知识。
广告位
