百度蜘蛛对于站长来说可谓上宾,可是有时候在网站日志中以及一些统计工具中,我们发现有时候会出现很多可疑IP,反复大量的访问网站,这个时候,我们应该如何判断这个IP是否是百度蜘蛛,还是有心人恶意的攻击或者采集呢?其实我们可以通过DNS反查IP的方式判断某只spider是否来自百度搜索引擎。
一般市场的系统有三种,分别是Linux/Windows/Mac os:
Linux:一般应用于服务器系统;
Windows:这个大家最为熟悉,也是应用最广泛的系统,如xp、win7、win8...等等;
Mac:苹果产品电脑系统;
所以这些系统平台验证方法都不同,linux/windows/mac os三种平台下的验证方法分别如下:
1、在linux
平台下,您可以使用host ip命令反解ip来判断是否来自Baiduspider的抓取。Baiduspider的hostname以 *.baidu.com 或 *.baidu.jp 的格式命名,非 *.baidu.com 或 *.baidu.jp 即为冒充。
格式:host ip 举例:host 123.125.66.120
2、在windows
平台或者IBM OS/2平台下,您可以使用nslookup ip命令反解ip来 判断是否来自Baiduspider的抓取。打开命令处理器 输入nslookup xxx.xxx.xxx.xxx(IP地 址)就能解析ip,来判断是否来自Baiduspider的抓取,Baiduspider的hostname以*.baidu.com 或*.baidu.jp 的格式命名,非 *.baidu.com 或 *.baidu.jp 即为冒充。
格式:nslookup ip 举例:nslookup 123.125.66.120
3、 在mac os
平台下,您可以使用dig 命令反解ip来 判断是否来自Baiduspider的抓取。打开命令处理器 输入dig xxx.xxx.xxx.xxx(IP地 址)就能解析ip, 来判断是否来自Baiduspider的抓取,Baiduspider的hostname以 *.baidu.com 或*.baidu.jp 的格式命名,非 *.baidu.com 或 *.baidu.jp 即为冒充。
格式:dig ip 举例:dig 123.125.66.120
演示图:
为windows平台下利用nslookup ip,即nslookup 123.125.66.120进行反解,结论为是百度蜘蛛
当然有时候其他一些搜索引擎也会抓取访问的,所以如果您要隐蔽的IP需要先剔除掉其他搜索引擎,否则容易出现误杀,那么如何来辨认别的搜索引擎?一般而言,搜索引擎的IP段均有带着该搜索引擎的独特标识的,我们同样可以利用这样的方式进行判断,如果反解的结果中出现了搜索引擎的标识,那么很可能这个IP虽然不是百度蜘蛛,确实其他搜索引擎的蜘蛛。