CTF-web 第九部分 爬虫协议与源码泄露

 这里须要首先说一下，不少CTF题目的初步提示就是在爬虫协议和源码泄露中，虽然这俩都是很小的一部分，可是不容忽视。在题目毫无思路的时候看看，万一有新发现呢   (1)Robots.txt 爬虫协议         robots.txt是一个纯文本文件，是爬虫抓取网站的时候要查看的第一个文件，通常位于网站的根目录下。robots.txt文件定义了爬虫在爬取该网站时存在的限制，哪些部分爬虫能够爬取，哪

>>阅读原文<<