攻防世界web Training-WWW-Robots writeup

题目描述见上； 根据题目要求我们学习robots协议相关知识。 robots.txt： 该协议将告诉网络搜索引擎的漫游器（又称网络蜘蛛），此网站中的哪些内容是不应被搜索引擎的漫游器获取的，哪些是可以被漫游器获取的。 所以使用搜索引擎的时候通过散布spider进行获取网站内容时，spider会先检索是否有robots.txt文件，如果有，那么spider将会根据该文件中的限制进行检索。 于是我们在在

>>阅读原文<<