做网站优化必须懂得有哪些搜索引擎蜘蛛

    1、百度蜘蛛：BaiduSpider

    常见的Baiduspider和Baiduspider-image（抓取图片）

    百度公司还有其它几个蜘蛛：Baiduspider-video（抓取视频）、Baiduspider-news（抓取新闻）、Baiduspider-mobile（抓取wap），都不常见

    百度蜘蛛爬虫UA：

    PC端：Mozilla/5.0(compatible;Baiduspider-render/2.0;+http://www.baidu.com/search/spider.html)

    移动端：Mozilla/5.0(iPhone;CPUiPhoneOS9_1likeMacOSX)AppleWebKit/601.1.46(KHTML,likeGecko)Version/9.0Mobile/13B143Safari/601.1(compatible;Baiduspider-render/2.0;+http://www.baidu.com/search/spider.html)

    图片：“Baiduspider-image+(+http://www.baidu.com/search/spider.htm)”

    2、谷歌蜘蛛：Googlebot

    有人说谷歌蜘蛛是GoogleBot，官方谷歌蜘蛛最新名称为Googlebot，还发现了Googlebot-Mobile，看名字是应该是抓取wap内容的

    谷歌蜘蛛爬虫UA：

    “Mozilla/5.0(compatible;Googlebot/2.1;+http://www.google.com/bot.html)”

    图片：“Googlebot-Image/1.0”

    3、360蜘蛛：360Spider

    它是一个十分“勤奋抓爬”的蜘蛛

    360蜘蛛爬虫UA：

    Mozilla/5.0(compatible;MSIE9.0;WindowsNT6.1;Trident/5.0);

    4、搜狗蜘蛛：SogouNewsSpider

    搜狗公司还有其它几个蜘蛛：Sogouwebspider、Sogouinstspider、Sogouspider2、Sogoublog、SogouOrionspider，冬镜在日志中只发现了常见的SogouNewsSpider。（参考大神百度的robots文件，搜狗蜘蛛名称可以用Sogou概括，但有没有用就不知道了.）

    搜狗蜘蛛爬虫UA：

    “Sogouwebspider/4.0(+http://www.sogou.com/docs/help/webmasters.htm#07)”

    5、必应蜘蛛：bingbot

    必应蜘蛛爬虫UA：

    “Mozilla/5.0(compatible;bingbot/2.0;+http://www.bing.com/bingbot.htm)”

    6、SOSO蜘蛛：Sosospider

    腾讯已玩死，交给搜狗公司了

    soso蜘蛛爬虫UA：

    “Sosospider+(+http://help.soso.com/webspider.htm)”

    7、雅虎蜘蛛：Yahoo!SlurpChina（雅虎中国）或Yahoo!Slurp（雅虎英文）

    雅虎蜘蛛爬虫UA：

    雅虎中国：“Mozilla/5.0(compatible;Yahoo!SlurpChina;http://misc.yahoo.com.cn/help.html)”

    雅虎英文：“Mozilla/5.0(compatible;Yahoo!Slurp;http://help.yahoo.com/help/us/ysearch/slurp)”

    8、MSN蜘蛛：msnbot，msnbot-media

    重庆SEO好像只见到msnbot-media在狂爬……

    MSN蜘蛛爬虫UA：

    *msnbot/1.0(+http://search.msn.com/msnbot.htm”)

    其它还有一搜蜘蛛：YisouSpider、Alexa蜘蛛：ia_archiver、宜搜蜘蛛：EasouSpider、即刻蜘蛛：JikeSpider，以及还有YandexBot、AhrefsBot和ezooms.bot等这些蜘蛛，据说这几个国外的蜘蛛都不咋好

来源：闫宝龙博客（微信/QQ号：18097696），转载请保留出处和链接！

本文链接：http://www.yanbaolong.com/post/275.html