Python3爬虫之一

介绍：几乎每一个网站都有一个名为robot.txt文档，对于没有设定robot.txt文档 的网站可以通过网络爬虫获取没有口令加密的数据（即该网页的数据都可以爬取），对于有robot.txt文档的网站就要去判断是否有禁止访客获取的数据。 出现上面的代码时，表示除前面指定的爬虫外，不允许其他爬虫取任何数据。 如：https://www.taobao.com/robot.txt 爬虫原理： （1）网页

>>阅读原文<<