正确识别百度蜘蛛IP段?增加网站收录量,让网站流量翻十倍

日期:2019-05-20 11:25:04 作者:大兵 浏览: 查看评论 加入收藏

    做过网络搜索引擎优化的站长们经常问百度蜘蛛是什么?也有的站长说百度蜘蛛把我的网站服务器抓爆了,也有的还说百度蜘蛛为什么不来抓我的网站呢?很多站长的网站想得到百度蜘蛛IP段,将百度蜘蛛IP段加入网站服务器的白名单,但网站服务器的IP段不固定,因此没有办法对外公布百度蜘蛛IP段。
    怎样正确识别百度蜘蛛的IP段?增加网站收录量,让网站流量翻十倍。
    1、查看UA,如果UA都不对,则可以直接判断这不是百度搜索引擎的蜘蛛
    目前百度对外公布的蜘蛛移动UA和PC UA是分别是
    1、移动UA:
    Mozilla/5.0 (Linux;u;Android 4.2.2;zh-cn;) AppleWebKit/534.46 (KHTML,likeGecko) Version/5.1 Mobile Safari/10600.6.3 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)
    2、PC UA:
    Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)
    新增渲染UA:
    1、移动UA:
    Mozilla/5.0 (iPhone; CPU iPhone OS 9_1 likeMac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko) Version/9.0 Mobile/13B143 Safari/601.1 (compatible; Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)
    2、PC UA:
    Mozilla/5.0 (compatible; Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)
    2、反查百度蜘蛛的IP
    通过DNS反查IP方式判断spider是否来自百度spider
    1)在linux平台下
    在linux网站服务器中,你可以使用host ip命令反解ip来判断是不是来自百度的Baiduspider抓取,百度的spider的hostname一般都是以 *.baidu.com 或 *.baidu.jp 的格式命名的,如果不是*.baidu.com 或 *.baidu.jp的,就是冒充假冒的。
    2)、在windows平台或者IBM OS/2平台下
使用nslookup ip命令反解ip来判断是不是来自Baiduspider的抓取,可打开windows平台上的命令服务器,输入nslookup xxx.xxx.xxx.xxx(IP地 址)就能解析IP,以此来判断是否来自于Baiduspider的抓取,Baiduspider的hostname以*.baidu.com 或*.baidu.jp 的格式命名,非*.baidu.com 或*.baidu.jp 的即冒充的。
    3)在mac os平台下
    在mac os平台下可使用dig 命令反解ip是不是来自Baiduspider的抓取,打开平台的命令处理器,输入dig xxx.xxx.xxx.xxx(IP地 址)就能解析ip来判断是不是来自于Baiduspider,Baiduspider的hostname以*.baidu.com 或*.baidu.jp 的格式命名,非*.baidu.com 或*.baidu.jp 的即冒充的。

支付宝转账赞助

支付宝扫一扫赞助

微信转账赞助

微信扫一扫赞助

留言与评论(共有 0 条评论)
   
验证码: