真假蜘蛛在线检测工具(搜索引擎蜘蛛IP大全)

时间:2020-11-29 22:13:22
来源:敢闯网
1377次阅读

  搜索引擎蜘蛛,是网络爬虫的一种,按照一定的规则,自动地抓取万维网信息。但是,现在有一些假蜘蛛频繁抓取网站剽窃我们的工作成果,影响真的搜索引擎蜘蛛爬取网站以及搜索引擎评价网站,所以就要“揪出”假蜘蛛,并把它封禁处理。

搜索引擎蜘蛛

  通过分析网站日志,整理出访问量大的IP或者可疑IP,进行IP检测是识别真假蜘蛛的手段。敢闯网上篇文章“网站日志在线分析工具”,教大家通过网站服务器日志,来分析搜索引擎蜘蛛爬取网站的情况,以及网站404和403情况。使用日志分析工具,可以导出网站日志CSV文件,然后可以批量检测真假蜘蛛。

搜索引擎蜘蛛

  真假蜘蛛在线检测工具

  1、百度真假蜘蛛查询工具

  http://stool.chinaz.com/baiduspider

  2、搜索引擎IP反查工具,是通过DNS反查IP的方式判断真假蜘蛛,支持百度、搜狗、Google、Bing、神马搜索、今日头条、360搜索、Yahoo搜索引擎蜘蛛查询。

  http://hoohtml.com/tools/webspider/

  常见搜索引擎蜘蛛IP大全

真假蜘蛛在线检测工具

  1)百度蜘蛛IP(Baiduspider)已验证

  111.206.198.100-111.206.198.109

  116.179.32.130-116.179.32.139

  123.125.71.92 ~ 123.125.71.113

  220.181.108.76 ~ 220.181.108.187

  2)搜狗蜘蛛IP(Sogou)已验证

  106.38.241.66-106.38.241.73

  106.38.241.100-106.38.241.191

  111.202.100.100-111.202.100.119

  123.183.224.1-123.183.224.191

  49.7.20.64-49.7.20.159

  58.250.125.66-58.250.125.105

真假蜘蛛在线检测工具

  3)Google蜘蛛IP(Googlebot)已验证

  66.249.64.1-66.249.79.255

  203.208.60.1-203.208.60.255

  4)Bing蜘蛛IP(Msnbot&Bing)已验证

  13.66.139.1-13.66.139.255

  157.55.39.1-157.55.39.255

  207.46.13.1-207.46.13.255

  40.77.160.1-40.77.195.255

  5)神马搜索IP(YisouSpider)已验证

  42.120.160.1-42.120.161.255

  42.156.136.1-42.156.139.255

  42.156.254.1-42.156.255.255

  106.11.152.1-106.11.159.255

  6)今日头条蜘蛛IP(Bytespider)已验证

  111.225.149.2-111.225.149.249

  110.249.202.2-110.249.202.249

  温馨提醒:不少伪造的爬虫程序会伪造user-agent冒充Baidu、Sogou等搜索擎,好在baidu、sogou、google、bing等搜索引擎都提供一个DNS反向IP查询功能

搜索引擎IP反查

  如果怕误禁搜索引擎蜘蛛IP,你还可以通过nslookup命令反查IP,方法如上图所示。对于假蜘蛛IP,可以进行封禁IP处理,另外,也可以通过robots.txt来屏蔽没啥意义的搜索引擎蜘蛛。

  反侵权公告提醒:本文“真假蜘蛛在线检测工具”https://www.darecy.com/436.html由敢闯网原创编写,未经书面许可,不得转载。

阅读全文
不要等待机会,而要创造机会

深度阅读

  • 实名备案是什么意思(怎么查一个网站的备案信息)

    实名备案,就是工信部要求网络信息服务提供者进行实名备案。实名备案信息查询,包括网站备案、公网安备、企业工商信息查询等,需要注意…【详细】
    836阅读
  • 外链工具有没有用_超级外链工具会被K站吗

    在此提醒大家,超级外链工具是没有啥好处,短期内给网站制造大量的垃圾外链,轻则关键词排名100页之后,重则被K站。使用外链工具群发外链…【详细】
    943阅读