XCTF_Web_新手练习区：robots

第三题：robots 目标： 掌握robots协议的知识 robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。当一个搜索蜘蛛访问一个站点时，它会首先检查该站点根目录下是否存在robots.txt，若是存在，搜索机器人就会按照该文件中的内容来肯定访问的范围；若是该文件不存在，全部的搜索蜘蛛将可以访问网站上全部没有被口令保护的页面。 Writeup 使用python扫目录，扫目录脚本di

>>阅读原文<<