mj12bot
网站经常有mj12bot的爬虫来爬取数据。
MJ12bot是英国的一家搜索引擎营销网站Majestic的爬虫,是Majestic-12分布式搜索引擎的爬虫,它的中文站:zh.majestic.com。
它的抓取频率有时候很高,可以选择选择屏蔽掉,在robots.txt里添加:
User-agent: MJ12bot
Disallow: /
热门推荐
-
3、 gin 自定义日志输出
-
7、 CDN 内容分发网络
-
8、 gate.io
-
10、 Dell 更换硬盘和迁移操作系统