当前位置：首页 > 站长> 正文

Majestic12（MJ12bot）是什么

时间：2021-04-05 11:40:55

来源：敢闯网

297次阅读

　　最近，查看网站日志，发现有两条Majestic12(MJ12bot)记录。MJ12bot是什么蜘蛛?MJ12bot 是英国的一家老牌的搜索引擎营销网站 Majestic 的爬虫，MJ12bot 是 Majestic-12 分布式搜索引擎的爬虫。

Majestic12（MJ12bot）

　　小编的站点，MJ12bot 零星访问记录，所以，并没有对它进行禁止。如果你的站点MJ12bot、AhrefsBot等蜘蛛访问比较多的话，你可以通过robots.txt 以及禁止IP段的方式，屏蔽这些恶意网页爬虫。

MJ12bot屏蔽方法
图：MJ12bot蜘蛛屏蔽方法

　　MJ12bot 爬虫作用

　　一些版权方会使用这家的爬虫来批量检查网站中是否包含侵犯版权的文件。反侵权公告提醒：本文“Majestic12（MJ12bot）是什么”由敢闯网（www.darecy.com）原创编写，未经书面许可，不得转载。

关键词：爬虫

阅读全文

深度阅读

最后，在百度站长的“反馈中心”反馈https认证异常。事实上，百度站长https认证不稳定，常出现认证失败的情况，可以反馈给站长平台，工作人…【详细】

943阅读

互联网飞速发展的今天，个人都可以注册域名、建设网站。注册域名需要注意什么?这个老生常谈的话题，抛开人云亦云的见解，小编发表一下…【详细】

710阅读