IMXYLZ

搜索引擎

| Comments

建立这个站点的当天晚上就向三大搜索引擎:Google,Baidu,Bing。结果第二天google就收录了这个站台,当天晚上就看到了google爬虫爬过的痕迹。第二天早上从Google中就能够通过imxylz搜索到了。而到了今天,也就是第三天的晚上bing和baidu还没有收录,至少不能通过搜索引擎搜到。

可见google和baidu的技术差距还是很大的,至于bing,估计还没有长大。现在我基本上不用baidu了,偶尔下载个破解软件到有可能用baidu,通常都是用google.com查找资料,注意不是google.cn,国内google.cn过滤比较严重,一些国外的网站都查不到。用google.com坏处就是一会就不能访问了,不知道是不是因为局域网访问的人太多,某些操作导致google屏蔽了我们的地址还是某些ISP屏蔽了google的地址,总之google在中国的路相当不好走。相反没有技术的baidu倒是一路畅通,无语了。


2009.11.16

今天看日志,已经看到一些spider:

(1)搜狗的spider,“Sogou web spider/4.0(+http://www.sogou.com/docs/help/webmasters.htm#07”

(2)Baidu的手机spider?“Nokia6681/1.0 (2.30.0) Series60/2.6 Profile/MIDP-2.0 Configuration/CLDC-1.1 (compatible; baiduspider; +http://www.baidu.com/search/spider.html”

(3)腾讯的spider,“Sosospider+(+http://help.soso.com/webspider.htm”

(4)Google的spider,“Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html”

(5)Baidu的spider,“Baiduspider+(+http://www.baidu.com/search/spider.htm”

到目前为止还没有看到bing的spider,虽然我已经提交过地址了,显然bing没有理我,soso和sogou我是没有提交地址的。


2009.11.17 09:47

百度的spider确实比较傻,每次都是几个不同IP地址的spider一起爬我的站点,而且只爬/根节点,显然这样是爬不了多少东西,可见百度的技术还是弱很多,我是说相比Google。我一直不知道google的时效性是怎么做到的,一般我在网上更新一盘文章,Google很快就能更新了,最慢的不会超过一天,看来Google的爬虫比较多。


2009.11.21

网易有道的spider:Mozilla/5.0 (compatible; YoudaoBot/1.0; http://www.youdao.com/help/webmaster/spider/

Comments

回顶部