mj12bot

2019-04-20
浏览 (1738)

网站经常有mj12bot的爬虫来爬取数据。

MJ12bot是英国的一家搜索引擎营销网站Majestic的爬虫，是Majestic-12分布式搜索引擎的爬虫，它的中文站：zh.majestic.com。

它的抓取频率有时候很高，可以选择选择屏蔽掉，在robots.txt里添加：

User-agent: MJ12bot
Disallow: /

0 赞

所属分类： 后端技术
本文标签： 软件
版权声明： 原创文章如转载，请注明本文链接: https://www.seaxiang.com/blog/mj12bot

热门推荐

1、直接访问google.com
2、 - 优质文章
3、 gate.io
4、 harmony 鸿蒙hdc使用指导
5、 harmony 鸿蒙ArkUI组件（ArkTS）开发常见问题
6、 harmony 鸿蒙初识ArkTS语言
7、 openharmony
8、 flink kafka connector scan.startup.mode 的几个选项
9、 golang

Loading...