mj12bot

  • 2019-04-20
  • 浏览 (64)

网站经常有mj12bot的爬虫来爬取数据。

MJ12bot是英国的一家搜索引擎营销网站Majestic的爬虫,是Majestic-12分布式搜索引擎的爬虫,它的中文站:zh.majestic.com。

它的抓取频率有时候很高,可以选择选择屏蔽掉,在robots.txt里添加:

User-agent: MJ12bot
Disallow: /
正文到此结束
相关文章