mj12bot

2019-04-20
浏览 (0)

网站经常有mj12bot的爬虫来爬取数据。

MJ12bot是英国的一家搜索引擎营销网站Majestic的爬虫，是Majestic-12分布式搜索引擎的爬虫，它的中文站：zh.majestic.com。

它的抓取频率有时候很高，可以选择选择屏蔽掉，在robots.txt里添加：

User-agent: MJ12bot
Disallow: /

所属分类： 后端技术
本文标签： 软件
版权声明： 原创文章如转载，请注明本文链接: http://www.seaxiang.com/blog/mj12bot

热门推荐

1、 linux 安装 nodejs
2、 gin api 请求404的一种现象
3、 gin 自定义日志输出
4、 linux git 保存账号和密码
5、 el-table 显示图片
6、 e充站邀请码-25KY7E
7、 CDN 内容分发网络
8、 gate.io
9、 String.split(String regex, int limit) 使用
10、 Dell 更换硬盘和迁移操作系统

Loading...