Python3网络爬虫实战---2三、使用Urllib：分析Robots协议

上一篇文章： Python3网络爬虫实战---2二、使用Urllib：解析连接
下一篇文章：

利用 Urllib 的 robotparser 模块咱们能够实现网站 Robots 协议的分析，本节咱们来简单了解一下它的用法。

1. Robots协议

Robots 协议也被称做爬虫协议、机器人协议，它的全名叫作网络爬虫排除标准（Robots Exclusion Protocol），用来告诉爬虫和搜索引擎哪些页面能够抓取，哪些不能够抓取。它一般是一个叫作 robots.txt 的文本文件，放在网站的根目录下。

当搜索爬虫访问一个站点时，它首先会检查下这个站点根目录下是否存在 robots.txt 文件，若是存在，搜索爬虫会根据其中定义的爬取范围来爬取。若是没有找到这个文件，那么搜索爬虫便会访问全部可直接访问的页面。

下面咱们看一个 robots.txt 的样例：

User-agent: *
Disallow: /
Allow: /public/

以上的两行实现了对全部搜索爬虫只容许爬取 public目录的做用。

如上简单的两行，保存成 robots.txt 文件，放在网站的根目录下，和网站的入口文件放在一块儿。好比 index.php、index.html、index.jsp 等等。

那么上面的 User-agent 就描述了搜索爬虫的名称，在这里将值设置为 *，则表明该协议对任何的爬取爬虫有效。好比咱们能够设置：

User-agent: Baiduspider

这就表明咱们设置的规则对百度爬虫是有效的。若是有多条 User-agent 记录，则就会有多个爬虫会受到爬取限制，但至少须要指定一条。

Disallow 指定了不容许抓取的目录，好比上述例子中设置为/则表明不容许抓取全部页面。

Allow 通常和 Disallow 一块儿使用，通常不会单独使用，用来排除某些限制，如今咱们设置为 /public/ ，起到的做用是全部页面不容许抓取，可是 public 目录是能够抓取的。

下面咱们再来看几个例子感觉一下：
禁止全部爬虫访问任何目录

User-agent: * 
Disallow: /

容许全部爬虫访问任何目录

User-agent: *
Disallow:

或者直接把 robots.txt 文件留空也是能够的。
禁止全部爬虫访问网站某些目录

User-agent: *
Disallow: /private/
Disallow: /tmp/

只容许某一个爬虫访问

User-agent: WebCrawler
Disallow:
User-agent: *
Disallow: /

以上是 robots.txt 的一些常见写法。

2. 爬虫名称

你们可能会疑惑，爬虫名是哪儿来的？为何就叫这个名？其实它是有固定名字的了，好比百度的就叫作 BaiduSpider，下面的表格列出了一些常见的搜索爬虫的名称及对应的网站：

爬虫名称	名称	网站
BaiduSpider	百度	www.baidu.com
Googlebot	谷歌	www.google.com
360Spider	360搜索	www.so.com
YodaoBot	有道	www.youdao.com
ia_archiver	Alexa	www.alexa.cn
Scooter	altavista	www.altavista.com

3. robotparser

了解了什么是 Robots 协议以后，咱们就可使用 robotparser 模块来解析 robots.txt 了。

robotparser 模块提供了一个类，叫作 RobotFileParser。它能够根据某网站的 robots.txt 文件来判断一个爬取爬虫是否有权限来爬取这个网页。

使用很是简单，首先看一下它的声明

urllib.robotparser.RobotFileParser(url='')

使用这个类的时候很是简单，只须要在构造方法里传入 robots.txt的连接便可。固然也能够声明时不传入，默认为空，再使用 set_url() 方法设置一下也能够。

有经常使用的几个方法分别介绍一下：

• set_url()，用来设置 robots.txt 文件的连接。若是已经在建立 RobotFileParser 对象时传入了连接，那就不须要再使用这个方法设置了。
• read()，读取 robots.txt 文件并进行分析，注意这个函数是执行一个读取和分析操做，若是不调用这个方法，接下来的判断都会为 False，因此必定记得调用这个方法，这个方法不会返回任何内容，可是执行了读取操做。
• parse()，用来解析 robots.txt 文件，传入的参数是 robots.txt 某些行的内容，它会按照 robots.txt 的语法规则来分析这些内容。
• can_fetch()，方法传入两个参数，第一个是 User-agent，第二个是要抓取的 URL，返回的内容是该搜索引擎是否能够抓取这个 URL，返回结果是 True 或 False。
• mtime()，返回的是上次抓取和分析 robots.txt 的时间，这个对于长时间分析和抓取的搜索爬虫是颇有必要的，你可能须要按期检查来抓取最新的 robots.txt。
• modified()，一样的对于长时间分析和抓取的搜索爬虫颇有帮助，将当前时间设置为上次抓取和分析 robots.txt 的时间。

以上是这个类提供的全部方法，下面咱们用实例来感觉一下：

from urllib.robotparser import RobotFileParser

rp = RobotFileParser()
rp.set_url('http://www.jianshu.com/robots.txt')
rp.read()
print(rp.can_fetch('*', 'http://www.jianshu.com/p/b67554025d7d'))
print(rp.can_fetch('*', "http://www.jianshu.com/search?q=python&page=1&type=collections"))

以简书为例，咱们首先建立 RobotFileParser 对象，而后经过 set_url() 方法来设置了 robots.txt 的连接。固然不用这个方法的话，能够在声明时直接用以下方法设置：

rp = RobotFileParser('http://www.jianshu.com/robots.txt')

下一步利用了 can_fetch() 方法来判断了网页是否能够被抓取。

运行结果：

True
False

一样也可使用 parser() 方法执行读取和分析。

用一个实例感觉一下：

from urllib.robotparser import RobotFileParser
from urllib.request import urlopen

rp = RobotFileParser()
rp.parse(urlopen('http://www.jianshu.com/robots.txt').read().decode('utf-8').split('\n'))
print(rp.can_fetch('*', 'http://www.jianshu.com/p/b67554025d7d'))
print(rp.can_fetch('*', "http://www.jianshu.com/search?q=python&page=1&type=collections"))

运行结果同样：

True
False

4. 结语

以上介绍了 robotparser 模块的基本用法和实例讲解，利用它咱们就能够方便地判断哪些页面能够抓取哪些不能够了。