• 专业制作各种营销型网站,利用模板做站,速度快,费用低,效果好。实现电脑手机平板电脑微信小程序的快速部署。我们做网站的目的很单纯:为销售负责!
    • 提供搜索引擎营销SEO竞价账户托管等服务

转-怎么识别是不是百度蜘蛛?还是其他冒充蜘蛛呢

网络营销资讯 3年前 (2019-11-07) 2707次浏览 扫描二维码

经常听到站长们问,百度蜘蛛是什么?最近百度蜘蛛来的太频繁服务器抓爆了,最近百度蜘蛛都不来了怎么办,还有很多站点想得到百度蜘蛛的IP段,想把IP加入白名单,但IP不固定,我们无法对外公布。

那怎么才能识别正确的百度蜘蛛呢?来来来,只需两步,教你正确识别百度蜘蛛:

1.查看UA,如果UA都不对,可以直接判断非百度搜索的蜘蛛,目前对外公布过的UA是:

移动UA:Mozilla/5.0 (Linux;u;Android 4.2.2;zh-cn;) AppleWebKit/534.46 (KHTML,like Gecko) Version/5.1 Mobile Safari/10600.6.3 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)

PC UA:Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)

新增渲染UA:

移动UA:Mozilla/5.0 (iPhone; CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko) Version/9.0 Mobile/13B143 Safari/601.1 (compatible; Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)

PC UA:Mozilla/5.0 (compatible; Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)

小程序UA:

Mozilla/5.0 (iPhone;CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko)Version/9.0 Mobile/13B143 Safari/601.1 (compatible; Baiduspider-render/2.0;Smartapp; +http://www.baidu.com/search/spider.html)

2.反查IP

站长可以通过DNS反查IP的方式判断某只spider是否来自百度搜索引擎。根据平台不同验证方法不同,如linux/windows/os三种平台下的验证方法分别如下:

1).在linux平台下,您可以使用host ip命令反解ip来判断是否来自Baiduspider的抓取。Baiduspiderhostname *.baidu.com  *.baidu.jp 的格式命名,非 *.baidu.com  *.baidu.jp 即为冒充。

转-怎么识别是不是百度蜘蛛?还是其他冒充蜘蛛呢

2).在windows平台或者IBM OS/2平台下,您可以使用nslookup ip命令反解ip 判断是否来自Baiduspider的抓取。打开命令处理器 输入nslookup xxx.xxx.xxx.xxxIP 址)就能解析ip 来判断是否来自Baiduspider的抓取,Baiduspiderhostname*.baidu.com *.baidu.jp 的格式命名,非 *.baidu.com  *.baidu.jp 即为冒充。

3). 在mac os平台下,您可以使用dig 命令反解ip 判断是否来自Baiduspider的抓取。打开命令处理器 输入dig xxx.xxx.xxx.xxxIP 址)就能解析ip 来判断是否来自Baiduspider的抓取,Baiduspiderhostname *.baidu.com *.baidu.jp 的格式命名,非 *.baidu.com  *.baidu.jp 即为冒充。

来源:https://ziyuan.baidu.com/college/articleinfo?id=1295


未经允许请不要转载本站文章。本文连接:http://www.031388.com/224
我们提供专业的快速网站建设服务、网站优化服务、仿站、高端网站建设等。如有需要请联系。
电话(微信):17343034112
喜欢 (0)