python爬虫--robots协议

robots exclusion standard 网络爬虫排除标准 基本概念 1.使用基本语法user-agent和disallow语法告知哪些内容可以爬取，爬虫时会自动或人工识别协议内容再进行内容爬取。 2.协议存放在网站根目录robots.txt中，无robots文件表示都可以爬虫访问。robots协议是建议性的，不遵守会存在法律风险。 3.爬取规模：request库(网页)<scrapy库

>>阅读原文<<