MJ12bot是什么蜘蛛?抓取频率非常高,怎么屏蔽禁止它抓取网页?

MJ12bot是什么蜘蛛?

MJ12bot是一个来自英国网络营销公司的搜索引擎蜘蛛,这个搜索引擎名称叫做:Majestic。这家公司的搜索引擎主要是用来绘制互联网地图的,然后用这个互联网地图数据来为企业提供互联网营销数据服务。目前,这家公司提供了13种语言的网站服务。

用户可以在Majestic上了解到自己网站的一些数据。

总的来说,如果你的网站业务主要是在国内的话,那么MJ12bot蜘蛛对于你来说就没有多大的作用。

MJ12bot蜘蛛对网站有什么影响?

这个蜘蛛程序同样会轻微的增加服务器的负担,有的时候如果它的抓取量比较大的话,影响也会比较明显,但是一般情况下不会有太大的影响。如果你不想在日志中看到它,可以将它在robots.txt中屏蔽掉,这个蜘蛛是遵循robots规则的。

如何屏蔽MJ12bot蜘蛛?

因为MJ12bot蜘蛛会遵循robots协议,所以我们可以直接在robots.txt中将它屏蔽掉,具体代码如下:

User-agent: MJ12bot
Disallow: /
超兽vps共 6279 篇文章

本博客内容仅供信息参考,主要记录我个人关注的主机测评结果和优惠活动。本站不参与任何商品或服务交易,也不提供中介服务;文中内容不构成购买或交易建议,本站不对其准确性、完整性、时效性或适用性作任何明示或默示保证

标签