Majestic12(MJ12bot)是什么
时间:2021-04-05 11:40:55
来源:敢闯网
297次阅读
最近,查看网站日志,发现有两条Majestic12(MJ12bot)记录。MJ12bot是什么蜘蛛?MJ12bot 是英国的一家老牌的搜索引擎营销网站 Majestic 的爬虫,MJ12bot 是 Majestic-12 分布式搜索引擎的爬虫。
小编的站点,MJ12bot 零星访问记录,所以,并没有对它进行禁止。如果你的站点MJ12bot、AhrefsBot等蜘蛛访问比较多的话,你可以通过robots.txt 以及禁止IP段的方式,屏蔽这些恶意网页爬虫。
图:MJ12bot蜘蛛屏蔽方法
MJ12bot 爬虫作用
一些版权方会使用这家的爬虫来批量检查网站中是否包含侵犯版权的文件。反侵权公告提醒:本文“Majestic12(MJ12bot)是什么”由敢闯网(www.darecy.com)原创编写,未经书面许可,不得转载。
关键词:爬虫
猜你喜欢

SEO优化:外链已经不再重要了吗?
我爱SEO,也经常关注SEO,也会经常听到一些SEO神话,其实充其量,它们会给人误导,甚至浪费我们宝贵的时间、金钱与资源,而且这些事情不会改…【详细】
18阅读

网站被K的原因有哪些?这些操作容易被K站
经常会看到一些小伙伴问:自己的网站被K了,什么时候能恢复?如何恢复?与其到处询问他人如何恢复,还不如学会如何去分析。网站被K一定是做…【详细】
18阅读