robots.txt防爬虫使用

robots.txt文件用法举例： 首先来看看robots.txt文件的使用位置情况，如github的robots使用情况。 下面参考https://blog.csdn.net/cc1254383393/article/details/48753961/ 1.robots.txt文件是什么 robots.txt是一个纯文本文件，是搜索引擎中访问网站的时候要查看的第一个文件。robots.txt文件

>>阅读原文<<