网站菜单
日记 - 爬虫规则配置文件改进建议
* 日记 | 大头猫咪 | 爬虫规则配置文件改进建议
Avatar 作者: 大头猫咪 WAP ( 2025/08/24 10:26)
阅读量: 19
今天闲来无事看了看“访客”都是些什么玩意,发现绝大部分都是Amazonbot,其次才是bingbot、Googlebot这些常规搜索引擎的爬虫。
对于Amazonbot,个人感觉这对网站在搜索引擎上的排名没什么影响,反而还拖累了系统性能?也许可以给robots.txt添加一条禁止Amazonbot的规则。
img
« 上一页 (第117页 共4976页) 下一页 »
* (0) *
评论: (2)
* 日记 | 大头猫咪 | 爬虫规则配置文件改进建议
官方QQ群-310379632
© DCMS-Social