宁波seo优化专栏

如何识别百度蜘蛛

发布时间:2019-09-11 16:50:10

百度蜘蛛对于站长来说可谓上宾,可是有时候在网站日志中以及一些统计工具中,我们发现有时候会出现很多可疑IP,反复大量的访问网站,这个时候,我们应该如何判断这个IP是否是百度蜘蛛,还是有心人恶意的攻击或者采集呢?其实我们可以通过DNS反查IP的方式判断某只spider是否来自百度搜索引擎。

一般市场的系统有三种,分别是Linux/Windows/Mac os:

Linux:一般应用于服务器系统;

Windows:这个大家最为熟悉,也是应用最广泛的系统,如xp、win7、win8...等等;

Mac:苹果产品电脑系统;

所以这些系统平台验证方法都不同,linux/windows/mac os三种平台下的验证方法分别如下:

1、在linux平台下,您可以使用host ip命令反解ip来判断是否来自Baiduspider的抓取。Baiduspider的hostname以 *.baidu.com 或 *.baidu.jp 的格式命名,非 *.baidu.com 或 *.baidu.jp 即为冒充。

格式:host ip 举例:host 123.125.66.120

2、在windows平台或者IBM OS/2平台下,您可以使用nslookup ip命令反解ip来 判断是否来自Baiduspider的抓取。打开命令处理器 输入nslookup xxx.xxx.xxx.xxx(IP地 址)就能解析ip,来判断是否来自Baiduspider的抓取,Baiduspider的hostname以*.baidu.com 或*.baidu.jp 的格式命名,非 *.baidu.com 或 *.baidu.jp 即为冒充。

格式:nslookup ip 举例:nslookup 123.125.66.120

3、 在mac os平台下,您可以使用dig 命令反解ip来 判断是否来自Baiduspider的抓取。打开命令处理器 输入dig xxx.xxx.xxx.xxx(IP地 址)就能解析ip, 来判断是否来自Baiduspider的抓取,Baiduspider的hostname以 *.baidu.com 或*.baidu.jp 的格式命名,非 *.baidu.com 或 *.baidu.jp 即为冒充。

格式:dig ip 举例:dig 123.125.66.120

演示图:

windows平台下利用nslookup ip,即nslookup 123.125.66.120进行反解,结论为是百度蜘蛛

blob.png

当然有时候其他一些搜索引擎也会抓取访问的,所以如果您要隐蔽的IP需要先剔除掉其他搜索引擎,否则容易出现误杀,那么如何来辨认别的搜索引擎?一般而言,搜索引擎的IP段均有带着该搜索引擎的独特标识的,我们同样可以利用这样的方式进行判断,如果反解的结果中出现了搜索引擎的标识,那么很可能这个IP虽然不是百度蜘蛛,确实其他搜索引擎的蜘蛛。


  补充词条:宁波网站排名优化  宁波seo推广公司  宁波网站seo优化  宁波seo哪家好  宁波seo排名