MJ12bot是什么蜘蛛？
MJ12bot是一个来自英国网络营销公司的搜索引擎蜘蛛，这个搜索引擎名称叫做：Majestic。这家公司的搜索引擎主要是用来绘制互联网地图的，然后用这个互联网地图数据来为企业提供互联网营销数据服务。目前，这家公司提供了13种语言的网站服务。
用户可以在Majestic上了解到自己网站的一些数据。
总的来说，如果你的网站业务主要是在国内的话，那么MJ12bot蜘蛛对于你来说就没有多大的作用。
MJ12bot蜘蛛对网站有什么影响？
这个蜘蛛程序同样会轻微的增加服务器的负担，有的时候如果它的抓取量比较大的话，影响也会比较明显，但是一般情况下不会有太大的影响。如果你不想在日志中看到它，可以将它在robots.txt中屏蔽掉，这个蜘蛛是遵循robots规则的。
如何屏蔽MJ12bot蜘蛛？
因为MJ12bot蜘蛛会遵循robots协议，所以我们可以直接在robots.txt中将它屏蔽掉，具体代码如下:
User-agent: MJ12bot Disallow: /
本文TAG： MJ12bot
为你推荐
- 2023-08-25XOVV全新上线欧洲原生IP云服务器节点
- 2023-07-26GigsGigsCloud推出个人特别版套餐SimpleCloud SE，美国CN2 GIA+CUVIP线路，$18/季或$70/年/1c/1g RAM/20G SSD/500G月流量/200M峰值带宽
- 2022-01-13OneTechCloud易科云四月促销全场VPS一律8折，低至22元/月，香港CN2、日本CN2、美国三网CN2、美国CN2高防
- 2022-07-07DMIT春节优惠美国洛杉矶LAX Pro套餐折后年付$99（1核2G/1.5TB流量@4Gbps带宽），三网CN2 GIA
- 2022-10-30AspirationHosting十三周年庆美国VPS、虚拟主机、云服务器低至3折，月付$1.8起
- 2022-06-16刺激云CN2香港2核2G 独享10M宽带 18元/月云服务器VPS测评
- 2022-09-11EtherNetservers美国便宜VPS低至$12/年！洛杉矶和新泽西机房，免费20Gbps DDoS防御，1核1G内存30G SSD硬盘2T流量@1Gbps带宽
- 2022-01-17老刘测评总结新人小白必知必会Linux命令大全