robots

攻防世界web答题基础版 攻防世界-web高手新手区-robots robotsphp [原理]web robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。当一个搜索蜘蛛访问一个站点时，它会首先检查该站点根目录下是否存在robots.txt，若是存在，搜索机器人就会按照该文件中的内容来肯定访问的范围；若是该文件不存在，全部的搜索蜘蛛将可以访问网站上全部没有被口令保护的页面。svg [

>>阅读原文<<