真假蜘蛛在线检测工具（搜索引擎蜘蛛IP大全）

　　搜索引擎蜘蛛，是网络爬虫的一种，按照一定的规则，自动地抓取万维网信息。但是，现在有一些假蜘蛛频繁抓取网站剽窃我们的工作成果，影响真的搜索引擎蜘蛛爬取网站以及搜索引擎评价网站，所以就要“揪出”假蜘蛛，并把它封禁处理。

　　通过分析网站日志，整理出访问量大的IP或者可疑IP，进行IP检测是识别真假蜘蛛的手段。敢闯网上篇文章“网站日志在线分析工具”，教大家通过网站服务器日志，来分析搜索引擎蜘蛛爬取网站的情况，以及网站404和403情况。使用日志分析工具，可以导出网站日志CSV文件，然后可以批量检测真假蜘蛛。

　　真假蜘蛛在线检测工具

　　1、百度真假蜘蛛查询工具

　　http://stool.chinaz.com/baiduspider

　　2、搜索引擎IP反查工具，是通过DNS反查IP的方式判断真假蜘蛛，支持百度、搜狗、Google、Bing、神马搜索、今日头条、360搜索、Yahoo搜索引擎蜘蛛查询。

　　http://hoohtml.com/tools/webspider/

　　常见搜索引擎蜘蛛IP大全

　　1）百度蜘蛛IP（Baiduspider）已验证

　　111.206.198.100-111.206.198.109

　　116.179.32.130-116.179.32.139

　　123.125.71.92 ~ 123.125.71.113

　　220.181.108.76 ~ 220.181.108.187

　　2）搜狗蜘蛛IP（Sogou）已验证

　　106.38.241.66-106.38.241.73

　　106.38.241.100-106.38.241.191

　　111.202.100.100-111.202.100.119

　　123.183.224.1-123.183.224.191

　　49.7.20.64-49.7.20.159

　　58.250.125.66-58.250.125.105

　　3）Google蜘蛛IP（Googlebot）已验证

　　66.249.64.1-66.249.79.255

　　203.208.60.1-203.208.60.255

　　4）Bing蜘蛛IP（Msnbot&Bing）已验证

　　13.66.139.1-13.66.139.255

　　157.55.39.1-157.55.39.255

　　207.46.13.1-207.46.13.255

　　40.77.160.1-40.77.195.255

　　5）神马搜索IP（YisouSpider）已验证

　　42.120.160.1-42.120.161.255

　　42.156.136.1-42.156.139.255

　　42.156.254.1-42.156.255.255

　　106.11.152.1-106.11.159.255

　　6）今日头条蜘蛛IP（Bytespider）已验证

　　111.225.149.2-111.225.149.249

　　110.249.202.2-110.249.202.249

　　温馨提醒：不少伪造的爬虫程序会伪造user-agent冒充Baidu、Sogou等搜索擎，好在baidu、sogou、google、bing等搜索引擎都提供一个DNS反向IP查询功能。

　　如果怕误禁搜索引擎蜘蛛IP，你还可以通过nslookup命令反查IP，方法如上图所示。对于假蜘蛛IP，可以进行封禁IP处理，另外，也可以通过robots.txt来屏蔽没啥意义的搜索引擎蜘蛛。

　　反侵权公告提醒：本文“真假蜘蛛在线检测工具”https://www.darecy.com/436.html由敢闯网原创编写，未经书面许可，不得转载。