Majestic12（MJ12bot）是什么

　　最近，查看网站日志，发现有两条Majestic12(MJ12bot)记录。MJ12bot是什么蜘蛛?MJ12bot 是英国的一家老牌的搜索引擎营销网站 Majestic 的爬虫，MJ12bot 是 Majestic-12 分布式搜索引擎的爬虫。

　　小编的站点，MJ12bot 零星访问记录，所以，并没有对它进行禁止。如果你的站点MJ12bot、AhrefsBot等蜘蛛访问比较多的话，你可以通过robots.txt 以及禁止IP段的方式，屏蔽这些恶意网页爬虫。

图：MJ12bot蜘蛛屏蔽方法

　　MJ12bot 爬虫作用

　　一些版权方会使用这家的爬虫来批量检查网站中是否包含侵犯版权的文件。反侵权公告提醒：本文“Majestic12（MJ12bot）是什么”由敢闯网（www.darecy.com）原创编写，未经书面许可，不得转载。

关键词：爬虫