网站经常有mj12bot的爬虫来爬取数据。
MJ12bot是英国的一家搜索引擎营销网站Majestic的爬虫，是Majestic-12分布式搜索引擎的爬虫，它的中文站：zh.majestic.com。
它的抓取频率有时候很高，可以选择选择屏蔽掉，在robots.txt里添加：
User-agent: MJ12bot
Disallow: /
网站经常有mj12bot的爬虫来爬取数据。
MJ12bot是英国的一家搜索引擎营销网站Majestic的爬虫，是Majestic-12分布式搜索引擎的爬虫，它的中文站：zh.majestic.com。
它的抓取频率有时候很高，可以选择选择屏蔽掉，在robots.txt里添加：
User-agent: MJ12bot
Disallow: /