【攻防世界】CTF web新手03 robots协议

【攻防世界】CTF web新手03 robots协议 什么是robots协议？ Robots协议（也称为爬虫协议、机器人协议等）的全称是“网络爬虫排除标准”（Robots Exclusion Protocol），网站通过Robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取。 具体内容可看：https://blog.csdn.net/zhangyingchengqi/article/det

>>阅读原文<<