关键词采集 关键词采集工具

预览模式: 普通 | 列表

再看看谷歌的robots文件

作者:admin  日期:2012-08-31

很细致，最后还加了网站地图文件。

User-agent: *
Disallow: /search
Disallow: /sdch
Disallow: /groups
Disallow: /images
Disallow: /catalogs
Allow: /catalogs/about
Allow: /catalogs/p?
Disallow: /catalogues
Disallow: /news
Allow: /news/directory
Disallow: /nwshp
Disallow: /setnewsprefs?
Disallow: /index.html?
Disallow: /?
Allow: /?hl=
Disallow: /?hl=*&
Disallow: /addurl/image?
Disallow: /pagead/
Disallow: /relpage/
Disallow: /relcontent
Disallow: /imgres
Disallow: /imglanding
Disallow: /sbd
Disallow: /keyword/
Disallow: /u/
Disallow: /univ/
Disallow: /cobrand
Disallow: /custom
Disallow: /advanced_group_search
Disallow: /googlesite
Disallow: /preferences
Disallow: /setprefs
Disallow: /swr
Disallow: /url
Disallow: /default
Disallow: /m?
Disallow: /m/?
Disallow: /m/blogs?
Disallow: /m/directions?
Disallow: /m/ig
Disallow: /m/images?
Disallow: /m/imgres?
Disallow: /m/local?
Disallow: /m/movies?
Disallow: /m/news?
Disallow: /m/news/i?
Disallow: /m/place?
Disallow: /m/products?
Disallow: /m/products/
Disallow: /m/setnewsprefs?
Disallow: /m/search?
Disallow: /m/swmloptin?
Disallow: /m/trends
Disallow: /m/video?
Disallow: /wml?
Disallow: /wml/?
Disallow: /wml/search?
Disallow: /xhtml?
Disallow: /xhtml/?
Disallow: /xhtml/search?
Disallow: /xml?
Disallow: /imode?
Disallow: /imode/?
Disallow: /imode/search?
Disallow: /jsky?
Disallow: /jsky/?
Disallow: /jsky/search?
Disallow: /pda?
Disallow: /pda/?
Disallow: /pda/search?
Disallow: /sprint_xhtml
Disallow: /sprint_wml
Disallow: /pqa
Disallow: /palm
Disallow: /gwt/
Disallow: /purchases
Disallow: /hws
Disallow: /bsd?
Disallow: /linux?
Disallow: /mac?
Disallow: /microsoft?
Disallow: /unclesam?
Disallow: /answers/search?q=
Disallow: /local?
Disallow: /local_url
Disallow: /shihui?
Disallow: /shihui/
Disallow: /froogle?
Disallow: /products?
Disallow: /products/
Disallow: /froogle_
Disallow: /product_
Disallow: /products_
Disallow: /products;
Disallow: /print
Disallow: /books/
Disallow: /bkshp?*q=*
Disallow: /books?*q=*
Disallow: /books?*output=*
Disallow: /books?*pg=*
Disallow: /books?*jtp=*
Disallow: /books?*jscmd=*
Disallow: /books?*buy=*
Disallow: /books?*zoom=*
Allow: /books?*q=related:*
Allow: /books?*q=editions:*
Allow: /books?*q=subject:*
Allow: /books/about
Allow: /booksrightsholders
Allow: /books?*zoom=1*
Allow: /books?*zoom=5*
Disallow: /ebooks/
Disallow: /ebooks?*q=*
Disallow: /ebooks?*output=*
Disallow: /ebooks?*pg=*
Disallow: /ebooks?*jscmd=*
Disallow: /ebooks?*buy=*
Disallow: /ebooks?*zoom=*
Allow: /ebooks?*q=related:*
Allow: /ebooks?*q=editions:*
Allow: /ebooks?*q=subject:*
Allow: /ebooks?*zoom=1*
Allow: /ebooks?*zoom=5*
Disallow: /patents?
Disallow: /patents/related/
Allow: /patents?id=
Allow: /patents?vid=
Disallow: /scholar
Disallow: /citations?
Allow: /citations?user=
Allow: /citations?view_op=new_profile
Allow: /citations?view_op=top_venues
Disallow: /complete
Disallow: /s?
Disallow: /sponsoredlinks
Disallow: /videosearch?
Disallow: /videopreview?
Disallow: /videoprograminfo?
Disallow: /maps?
Disallow: /mapstt?
Disallow: /mapslt?
Disallow: /maps/stk/
Disallow: /maps/br?
Disallow: /mapabcpoi?
Disallow: /maphp?
Disallow: /mapprint?
Disallow: /maps/api/js/StaticMapService.GetMapImage?
Disallow: /maps/api/staticmap?
Disallow: /mld?
Disallow: /staticmap?
Disallow: /places/
Allow: /places/$
Disallow: /maps/place
Disallow: /help/maps/streetview/partners/welcome/
Disallow: /lochp?
Disallow: /center
Disallow: /ie?
Disallow: /sms/demo?
Disallow: /katrina?
Disallow: /blogsearch?
Disallow: /blogsearch/
Disallow: /blogsearch_feeds
Disallow: /advanced_blog_search
Disallow: /reader/
Allow: /reader/play
Disallow: /uds/
Disallow: /chart?
Disallow: /transit?
Disallow: /mbd?
Disallow: /extern_js/
Disallow: /calendar/feeds/
Disallow: /calendar/ical/
Disallow: /cl2/feeds/
Disallow: /cl2/ical/
Disallow: /coop/directory
Disallow: /coop/manage
Disallow: /trends?
Disallow: /trends/music?
Disallow: /trends/hottrends?
Disallow: /trends/viz?
Disallow: /notebook/search?
Disallow: /musica
Disallow: /musicad
Disallow: /musicas
Disallow: /musicl
Disallow: /musics
Disallow: /musicsearch
Disallow: /musicsp
Disallow: /musiclp
Disallow: /browsersync
Disallow: /call
Disallow: /archivesearch?
Disallow: /archivesearch/url
Disallow: /archivesearch/advanced_search
Disallow: /base/reportbadoffer
Disallow: /urchin_test/
Disallow: /movies?
Disallow: /codesearch?
Disallow: /codesearch/feeds/search?
Disallow: /wapsearch?
Disallow: /safebrowsing
Allow: /safebrowsing/diagnostic
Allow: /safebrowsing/report_badware/
Allow: /safebrowsing/report_error/
Allow: /safebrowsing/report_phish/
Disallow: /reviews/search?
Disallow: /orkut/albums
Allow: /jsapi
Disallow: /views?
Disallow: /c/
Disallow: /cbk
Allow: /cbk?output=tile&cb_client=maps_sv
Disallow: /recharge/dashboard/car
Disallow: /recharge/dashboard/static/
Disallow: /translate_a/
Disallow: /translate_c
Disallow: /translate_f
Disallow: /translate_static/
Disallow: /translate_suggestion
Disallow: /profiles/me
Allow: /profiles
Disallow: /s2/profiles/me
Allow: /s2/profiles
Allow: /s2/photos
Allow: /s2/static
Disallow: /s2
Allow: /s2/search/social
Disallow: /transconsole/portal/
Disallow: /gcc/
Disallow: /aclk
Disallow: /cse?
Disallow: /cse/home
Disallow: /cse/panel
Disallow: /cse/manage
Disallow: /tbproxy/
Disallow: /imesync/
Disallow: /shenghuo/search?
Disallow: /support/forum/search?
Disallow: /reviews/polls/
Disallow: /hosted/images/
Disallow: /ppob/?
Disallow: /ppob?
Disallow: /ig/add?
Disallow: /adwordsresellers
Disallow: /accounts/o8
Allow: /accounts/o8/id
Disallow: /topicsearch?q=
Disallow: /xfx7/
Disallow: /squared/api
Disallow: /squared/search
Disallow: /squared/table
Disallow: /toolkit/
Allow: /toolkit/*.html
Disallow: /globalmarketfinder/
Allow: /globalmarketfinder/*.html
Disallow: /qnasearch?
Disallow: /app/updates
Disallow: /sidewiki/entry/
Disallow: /quality_form?
Disallow: /labs/popgadget/search
Disallow: /buzz/post
Disallow: /compressiontest/
Disallow: /analytics/reporting/
Disallow: /analytics/admin/
Disallow: /analytics/web/
Disallow: /analytics/feeds/
Disallow: /analytics/settings/
Disallow: /alerts/
Disallow: /ads/preferences/
Allow: /ads/preferences/html/
Allow: /ads/preferences/plugin
Disallow: /ads/search
Disallow: /settings/ads/onweb/
Disallow: /phone/compare/?
Allow: /alerts/manage
Disallow: /travel/clk
Disallow: /hotelfinder/rpc
Disallow: /flights/rpc
Disallow: /commercesearch/services/
Disallow: /evaluation/
Disallow: /webstore/search
Disallow: /chrome/browser/mobile/tour
Disallow: /plus/history/tasks/
Disallow: /compare/*/apply*
Sitemap: http://www.gstatic.com/s2/sitemaps/profiles-sitemap.xml
Sitemap: http://www.google.com/hostednews/sitemap_index.xml
Sitemap: http://www.google.com/ventures/sitemap_ventures.xml
Sitemap: http://www.google.com/sitemaps_webmasters.xml
Sitemap: http://www.gstatic.com/trends/websites/sitemaps/sitemapindex.xml
Sitemap: http://www.gstatic.com/dictionary/static/sitemaps/sitemap_index.xml

分类:随笔杂记 | 固定链接 | 评论: 0 | 引用: 0 | 查看次数: 3225

看看百度的robots文件是怎么写的？

作者:admin  日期:2012-08-31

 呵呵，屏蔽所有蜘蛛，难怪百度会指责360违反robots协议。

User-agent: Baiduspider
Disallow: /baidu
Disallow: /s?

User-agent: Googlebot
Disallow: /baidu
Disallow: /s?
Disallow: /shifen/
Disallow: /homepage/
Disallow: /cpro

User-agent: MSNBot
Disallow: /baidu
Disallow: /s?
Disallow: /shifen/
Disallow: /homepage/
Disallow: /cpro

查看更多...

分类:随笔杂记 | 固定链接 | 评论: 0 | 引用: 0 | 查看次数: 1929

MySQL 字符串函数：字符串截取

作者:admin  日期:2012-08-30

 MySQL 字符串截取函数：left(), right(), substring(), substring_index()。还有 mid(), substr()。其中，mid(), substr() 等价于 substring() 函数，substring() 的功能非常强大和灵活。

1. 字符串截取：left(str, length)

mysql> select left('sqlstudy.com', 3);
+-------------------------+
| left('sqlstudy.com', 3) |
+-------------------------+
| sql                     |
+-------------------------+

2. 字符串截取：right(str, length)

mysql> select right('sqlstudy.com', 3);
+--------------------------+
| right('sqlstudy.com', 3) |
+--------------------------+
| com                      |
+--------------------------+

3. 字符串截取：substring(str, pos); substring(str, pos, len)

3.1 从字符串的第 4 个字符位置开始取，直到结束。

mysql> select substring('sqlstudy.com', 4);
+------------------------------+
| substring('sqlstudy.com', 4) |
+------------------------------+
| study.com                    |
+------------------------------+

3.2 从字符串的第 4 个字符位置开始取，只取 2 个字符。

mysql> select substring('sqlstudy.com', 4, 2);
+---------------------------------+
| substring('sqlstudy.com', 4, 2) |
+---------------------------------+
| st                              |
+---------------------------------+

3.3 从字符串的第 4 个字符位置（倒数）开始取，直到结束。

mysql> select substring('sqlstudy.com', -4);
+-------------------------------+
| substring('sqlstudy.com', -4) |
+-------------------------------+
| .com                          |
+-------------------------------+

3.4 从字符串的第 4 个字符位置（倒数）开始取，只取 2 个字符。

mysql> select substring('sqlstudy.com', -4, 2);
+----------------------------------+
| substring('sqlstudy.com', -4, 2) |
+----------------------------------+
| .c                               |
+----------------------------------+

我们注意到在函数 substring(str,pos, len)中， pos 可以是负值，但 len 不能取负值。

4. 字符串截取：substring_index(str,delim,count)

4.1 截取第二个 '.' 之前的所有字符。

mysql> select substring_index('www.sqlstudy.com.cn', '.', 2);
+------------------------------------------------+
| substring_index('www.sqlstudy.com.cn', '.', 2) |
+------------------------------------------------+
| www.sqlstudy                                   |
+------------------------------------------------+

4.2 截取第二个 '.' （倒数）之后的所有字符。

mysql> select substring_index('www.sqlstudy.com.cn', '.', -2);
+-------------------------------------------------+
| substring_index('www.sqlstudy.com.cn', '.', -2) |
+-------------------------------------------------+
| com.cn                                          |
+-------------------------------------------------+

4.3 如果在字符串中找不到 delim 参数指定的值，就返回整个字符串

mysql> select substring_index('www.sqlstudy.com.cn', '.coc', 1);
+---------------------------------------------------+
| substring_index('www.sqlstudy.com.cn', '.coc', 1) |
+---------------------------------------------------+
| www.sqlstudy.com.cn                               |
+---------------------------------------------------+

Tags: mysql

分类:技术文章 | 固定链接 | 评论: 0 | 引用: 0 | 查看次数: 1910

win2003更改mysql数据库存放目录的方法

作者:admin  日期:2012-08-30

第一步：在cmd中应用“net stop mysql”命令停止MYSQL 服务。

第二步：到MYSQL安装目录“C:\Program files\MySQL\MySQL Server 5.1\”找到my.ini
文件，并对my.ini进行修改，即把【#datadir="C:/ProgramData/MySQL/MySQL Server 5.1/Data/"】
更改为【datadir="E:\WindFarmData\MySQL\data"】。
第三步：把“C:\ProgramData\MySQL\MySQL Server 5.1\data”目录下的所有文件拷贝到
“E:\WindFarmData\MySQL\data”目录下。
第四步：在cmd中应用“net start mysql”命令启动MySQL 服务。
至此，MySQL数据库文件保存目录根据需求更改完成！

Tags: mysql

分类:业界文摘 | 固定链接 | 评论: 0 | 引用: 0 | 查看次数: 2173

360遭百度反击：多项搜索直接跳至百度首页

作者:admin  日期:2012-08-29

 网易科技讯 8月29日消息，国内互联网搜索巨头百度昨晚悄然出手，反击从安全领域跨界搜索的新秀360。百度方面表示，对昨晚反击360搜索事宜不予评论。

8月28日晚，百度开始反击低调上线的360搜索。在360搜索页面中，新闻、MP3、地图三项搜索由此前的跳转至百度搜索页面，变为直接跳转至百度首页。

这意味着此前用户只需要在360搜索中输入关键字便可直接得到搜索结果，而现在需要再重新进入百度首页进行搜索。360搜索不仅无法直接读入搜索结果，其用户还将直接被转至百度搜索。

综上，360搜索首页中，新闻、MP3和地图仍跳转至百度，网页、视频和问答已采取奇虎自家产品，微博来自新浪搜索，图片来自即刻搜索，购物来自淘宝网搜索。

查看更多...

分类:业界文摘 | 固定链接 | 评论: 0 | 引用: 0 | 查看次数: 1924

sqlserver2005 配置系统未能初始化

作者:admin  日期:2012-08-28

 sqlserver2005使用SQL Server Management Studio连接本地数据库或远程数据库出错，提示“配置系统未能初始化 无法识别的配置节”，导致无法管理数据库。

卸载.net frameword 3.5以后，恢复正常！

Tags: sqlserver

分类:技术文章 | 固定链接 | 评论: 0 | 引用: 0 | 查看次数: 2840

Javascript图片自适应宽度

作者:admin  日期:2012-08-27

 图片宽度超过720px自动调整宽度和高度。

JavaScript代码
  1. //图片自适应页面宽度  
  2. window.onload=function(){  
  3.     var img = document.getElementsByTagName("img");  
  4.     var w = 0;  
  5.     var h = 0;  
  6.     for (var i=0; i<img.length; i++){  
  7.     w= img[i].width;  
  8.     h= img[i].height;  
  9.         if (img[i].alt == "alt值"){  
  10.             if (img[i].width > 720){  
  11.                 img[i].width=720;  
  12.                 img[i].height=720*h/w;  
  13.             }  
  14.         }  
  15.     }  
  16. }  

原创代码，转载请注明出处，谢谢！https://blog.guanjianci.net/

Tags: javascript

分类:技术文章 | 固定链接 | 评论: 0 | 引用: 0 | 查看次数: 1997

Php生成随机字符串附ASCII码完整表

作者:admin  日期:2012-08-24

 Php生成随机字符串代码，可以用来生成验证码或随机密码等。

PHP代码
  1. <?php  
  2. $rand_value = '';//初始化字符串变量  
  3. $length=8;//字符串长度  
  4. while (strlen($rand_value) < $length) {  
  5.     $char = chr(mt_rand(97,122));  
  6.     $rand_value .= $char;  
  7. }  
  8. echo $rand_value;//输出结果  
  9. ?>  

原创代码，转载请注明出处，谢谢！

点击下载ASCII码完整表

Tags: php

分类:技术文章 | 固定链接 | 评论: 0 | 引用: 0 | 查看次数: 2162

360搜索上线一周，网民使用率已超10%

作者:admin  日期:2012-08-24

360搜索自8月16日上线至今已有一周时间，根据知名第三方网站流量统计51.LA的统计，360搜索使用率目前已高达10％以上，超过搜狗、搜搜、谷歌和雅虎搜索，位居搜索领域第二位，第一位仍然由百度占据。

8月22日搜索引擎使用率（省略小于0.5％的项目）：
百度 67.882 %
360搜索 10.401 %
搜狐搜狗 7.878 %
腾讯SoSo 6.496 %
Google 5.200 %
LiveBing 0.649 %
网易 0.620 %
雅虎 0.525 %

而在8月初还是这样的比例（8月1日～10日累计数据）：
百度 74.528 %
搜狐搜狗 8.628 %
Google 7.722 %
腾讯SoSo 7.056 %
LiveBing 0.649 %
网易 0.627 %
雅虎 0.512 %

去年8月1日至10日的数据：
百度 74.676 %
Google 10.190 %
搜狐搜狗 6.696 %
腾讯SoSo 5.503 %
百度贴吧 0.847 %
LiveBing 0.799 %
网易 0.782 %
雅虎 0.505 %

查看更多...

分类:业界文摘 | 固定链接 | 评论: 0 | 引用: 0 | 查看次数: 1861

Asp实现登录错误以后要求输入验证码

作者:admin  日期:2012-08-24

利用这个可以实现首页登录框无需出现验证码，首次登录失败后才需要输入验证码，防止黑客暴力破解帐号！

登录输入页面：

ASP/Visual Basic代码
  1. <%  
  2. logerror=request.Cookies("logerror")    
  3. if trim(logerror)="yes" then  
  4.     response.Write("验证码：<input name=""checkcode"" type=""text"" id=""checkcode""><img src=""checkcode.asp"">")  
  5. end if  
  6. %>  

登录验证页面：

ASP/Visual Basic代码
  1. logerror=request.Cookies("logerror")    
  2. if trim(logerror)="yes" then  
  3.     checkcode=request("checkcode")  
  4.     if CheckCode<>CStr(session("CheckCode")) then  
  5.     response.Write("<script language='JavaScript' type='text/javascript'>")  
  6.     response.Write("alert('验证码错误！');")  
  7.     response.Write("document.location='login.asp';")  
  8.     response.Write("</script>")  
  9.     response.End()  
  10.     end if  
  11. end if  

内容参考本站另一篇博文：Asp利用cookies统计刷新页面次数

查看更多...

Tags: asp cookies

分类:技术文章 | 固定链接 | 评论: 0 | 引用: 0 | 查看次数: 2072

Win2003超出最大允许连接数解决方案

作者:admin  日期:2012-08-18

开始－运行－gpedit.msc－计算机配置－管理模板－windows组件－终端服务－会话，右边窗口选择“为断开的会话设置时间限制”－选择已启用，设置一个时间。

分类:业界文摘 | 固定链接 | 评论: 0 | 引用: 0 | 查看次数: 1876

奇艺网qsv视频转flv、Mp4格式软件

作者:admin  日期:2012-08-18

 点击下载此文件

实际上只是把qsv文件转成flv格式文件，现在一般的MP4也支持flv文件播放，如果不支持那就再找个flv转mp4格式软件，百度一搜一大把，呵呵！！！

分类:业界文摘 | 固定链接 | 评论: 0 | 引用: 0 | 查看次数: 2253

 广告位

↑返回顶部↑