真假蜘蛛在线检测工具(搜索引擎蜘蛛IP大全)

时间:2020-11-29 22:13:22
来源:敢闯网
1377次阅读

  搜索引擎蜘蛛,是网络爬虫的一种,按照一定的规则,自动地抓取万维网信息。但是,现在有一些假蜘蛛频繁抓取网站剽窃我们的工作成果,影响真的搜索引擎蜘蛛爬取网站以及搜索引擎评价网站,所以就要“揪出”假蜘蛛,并把它封禁处理。

搜索引擎蜘蛛

  通过分析网站日志,整理出访问量大的IP或者可疑IP,进行IP检测是识别真假蜘蛛的手段。敢闯网上篇文章“网站日志在线分析工具”,教大家通过网站服务器日志,来分析搜索引擎蜘蛛爬取网站的情况,以及网站404和403情况。使用日志分析工具,可以导出网站日志CSV文件,然后可以批量检测真假蜘蛛。

搜索引擎蜘蛛

  真假蜘蛛在线检测工具

  1、百度真假蜘蛛查询工具

  http://stool.chinaz.com/baiduspider

  2、搜索引擎IP反查工具,是通过DNS反查IP的方式判断真假蜘蛛,支持百度、搜狗、Google、Bing、神马搜索、今日头条、360搜索、Yahoo搜索引擎蜘蛛查询。

  http://hoohtml.com/tools/webspider/

  常见搜索引擎蜘蛛IP大全

真假蜘蛛在线检测工具

  1)百度蜘蛛IP(Baiduspider)已验证

  111.206.198.100-111.206.198.109

  116.179.32.130-116.179.32.139

  123.125.71.92 ~ 123.125.71.113

  220.181.108.76 ~ 220.181.108.187

  2)搜狗蜘蛛IP(Sogou)已验证

  106.38.241.66-106.38.241.73

  106.38.241.100-106.38.241.191

  111.202.100.100-111.202.100.119

  123.183.224.1-123.183.224.191

  49.7.20.64-49.7.20.159

  58.250.125.66-58.250.125.105

真假蜘蛛在线检测工具

  3)Google蜘蛛IP(Googlebot)已验证

  66.249.64.1-66.249.79.255

  203.208.60.1-203.208.60.255

  4)Bing蜘蛛IP(Msnbot&Bing)已验证

  13.66.139.1-13.66.139.255

  157.55.39.1-157.55.39.255

  207.46.13.1-207.46.13.255

  40.77.160.1-40.77.195.255

  5)神马搜索IP(YisouSpider)已验证

  42.120.160.1-42.120.161.255

  42.156.136.1-42.156.139.255

  42.156.254.1-42.156.255.255

  106.11.152.1-106.11.159.255

  6)今日头条蜘蛛IP(Bytespider)已验证

  111.225.149.2-111.225.149.249

  110.249.202.2-110.249.202.249

  温馨提醒:不少伪造的爬虫程序会伪造user-agent冒充Baidu、Sogou等搜索擎,好在baidu、sogou、google、bing等搜索引擎都提供一个DNS反向IP查询功能

搜索引擎IP反查

  如果怕误禁搜索引擎蜘蛛IP,你还可以通过nslookup命令反查IP,方法如上图所示。对于假蜘蛛IP,可以进行封禁IP处理,另外,也可以通过robots.txt来屏蔽没啥意义的搜索引擎蜘蛛。

  反侵权公告提醒:本文“真假蜘蛛在线检测工具”https://www.darecy.com/436.html由敢闯网原创编写,未经书面许可,不得转载。

阅读全文
不要等待机会,而要创造机会

深度阅读

  • 网页加载慢的解决方法(页面优化加载的方法)

    网页迟迟打不开,不但流失用户,而且还会被搜索引擎惩罚。那么,网页加载慢怎么优化?本文整理了网页打开慢的影响因素,还总结了页面优化…【详细】
    1590阅读
  • 转产品经理后悔了(产品经理累还是程序员累)

    互联网时代日新月异,产品丰富多样,同时,面临着被快速“淘汰”掉。如何打造一个生命周期长,又能产生经济效益的产品,成为许多企业老板关…【详细】
    1086阅读