xctf_Robots

Robots [目标] Robots协议 [环境] Windows [工具] 浏览器 [分析] 1.根据题目可看出robots协议，所以第一想到的是robots.txt 2.disallow 可看出这是爬虫协议： User—Agent： 定义搜索引擎类型（定义robots对哪一个搜索引擎生效） User—Agent：BaiduSpider （定义该协议只对百度搜索引擎生效） User—Agent：

>>阅读原文<<