mj12bot

2019-04-20
浏览 (147)

网站经常有mj12bot的爬虫来爬取数据。

MJ12bot是英国的一家搜索引擎营销网站Majestic的爬虫，是Majestic-12分布式搜索引擎的爬虫，它的中文站：zh.majestic.com。

它的抓取频率有时候很高，可以选择选择屏蔽掉，在robots.txt里添加：

User-agent: MJ12bot
Disallow: /

正文到此结束

所属分类： 后端技术
本文标签： 软件
版权声明： 原创文章如转载，请注明本文链接: http://www.seaxiang.com/blog/mj12bot

阿里云优惠券

热门推荐

相关文章

mj12bot

Loading...