【Python3网络爬虫开发实战】3.1.4-分析Robots协议

利用urllib的robotparser模块，咱们能够实现网站Robots协议的分析。本节中，咱们来简单了解一下该模块的用法。

1. Robots协议

Robots协议也称做爬虫协议、机器人协议，它的全名叫做网络爬虫排除标准（Robots Exclusion Protocol），用来告诉爬虫和搜索引擎哪些页面能够抓取，哪些不能够抓取。它一般是一个叫做robots.txt的文本文件，通常放在网站的根目录下。

当搜索爬虫访问一个站点时，它首先会检查这个站点根目录下是否存在robots.txt文件，若是存在，搜索爬虫会根据其中定义的爬取范围来爬取。若是没有找到这个文件，搜索爬虫便会访问全部可直接访问的页面。

下面咱们看一个robots.txt的样例：

User-agent: *
Disallow: /
Allow: /public/
复制代码

这实现了对全部搜索爬虫只容许爬取public目录的功能，将上述内容保存成robots.txt文件，放在网站的根目录下，和网站的入口文件（好比index.php、index.html和index.jsp等）放在一块儿。

上面的User-agent描述了搜索爬虫的名称，这里将其设置为*则表明该协议对任何爬取爬虫有效。好比，咱们能够设置：

User-agent: Baiduspider
复制代码

这就表明咱们设置的规则对百度爬虫是有效的。若是有多条User-agent记录，则就会有多个爬虫会受到爬取限制，但至少须要指定一条。

Disallow指定了不容许抓取的目录，好比上例子中设置为/则表明不容许抓取全部页面。

Allow通常和Disallow一块儿使用，通常不会单独使用，用来排除某些限制。如今咱们设置为/public/，则表示全部页面不容许抓取，但能够抓取public目录。

下面咱们再来看几个例子。禁止全部爬虫访问任何目录的代码以下：

User-agent: * 
Disallow: /
复制代码

容许全部爬虫访问任何目录的代码以下：

User-agent: *
Disallow:
复制代码

另外，直接把robots.txt文件留空也是能够的。

禁止全部爬虫访问网站某些目录的代码以下：

User-agent: *
Disallow: /private/
Disallow: /tmp/
复制代码

只容许某一个爬虫访问的代码以下：

User-agent: WebCrawler
Disallow:
User-agent: *
Disallow: /
复制代码

这些是robots.txt的一些常见写法。

2. 爬虫名称

你们可能会疑惑，爬虫名是哪儿来的？为何就叫这个名？其实它是有固定名字的了，好比百度的就叫做BaiduSpider。表3-1列出了一些常见的搜索爬虫的名称及对应的网站。

表3-1 一些常见搜索爬虫的名称及其对应的网站

3. robotparser

了解Robots协议以后，咱们就可使用robotparser模块来解析robots.txt了。该模块提供了一个类RobotFileParser，它能够根据某网站的robots.txt文件来判断一个爬取爬虫是否有权限来爬取这个网页。

该类用起来很是简单，只须要在构造方法里传入robots.txt的连接便可。首先看一下它的声明：

urllib.robotparser.RobotFileParser(url='')
复制代码

固然，也能够在声明时不传入，默认为空，最后再使用set_url()方法设置一下也可。

下面列出了这个类经常使用的几个方法。

• set_url()：用来设置robots.txt文件的连接。若是在建立RobotFileParser对象时传入了连接，那么就不须要再使用这个方法设置了。
• read()：读取robots.txt文件并进行分析。注意，这个方法执行一个读取和分析操做，若是不调用这个方法，接下来的判断都会为False，因此必定记得调用这个方法。这个方法不会返回任何内容，可是执行了读取操做。
• parse()：用来解析robots.txt文件，传入的参数是robots.txt某些行的内容，它会按照robots.txt的语法规则来分析这些内容。
• can_fetch()：该方法传入两个参数，第一个是User-agent，第二个是要抓取的URL。返回的内容是该搜索引擎是否能够抓取这个URL，返回结果是True或False。
• mtime()：返回的是上次抓取和分析robots.txt的时间，这对于长时间分析和抓取的搜索爬虫是颇有必要的，你可能须要按期检查来抓取最新的robots.txt。
• modified()：它一样对长时间分析和抓取的搜索爬虫颇有帮助，将当前时间设置为上次抓取和分析robots.txt的时间。

下面咱们用实例来看一下：

from urllib.robotparser import RobotFileParser

rp = RobotFileParser()
rp.set_url('http://www.jianshu.com/robots.txt')
rp.read()
print(rp.can_fetch('*', 'http://www.jianshu.com/p/b67554025d7d'))
print(rp.can_fetch('*', "http://www.jianshu.com/search?q=python&page=1&type=collections"))
复制代码

这里以简书为例，首先建立RobotFileParser对象，而后经过set_url()方法设置了robots.txt的连接。固然，不用这个方法的话，能够在声明时直接用以下方法设置：

rp = RobotFileParser('http://www.jianshu.com/robots.txt')
复制代码

接着利用can_fetch()方法判断了网页是否能够被抓取。

运行结果以下：

True
False
复制代码

这里一样可使用parser()方法执行读取和分析，示例以下：

from urllib.robotparser import RobotFileParser
from urllib.request import urlopen

rp = RobotFileParser()
rp.parse(urlopen('http://www.jianshu.com/robots.txt').read().decode('utf-8').split('\n'))
print(rp.can_fetch('*', 'http://www.jianshu.com/p/b67554025d7d'))
print(rp.can_fetch('*', "http://www.jianshu.com/search?q=python&page=1&type=collections"))
复制代码

运行结果同样：

True
False
复制代码

本节介绍了robotparser模块的基本用法和实例，利用它，咱们能够方便地判断哪些页面能够抓取，哪些页面不能够抓取。

本资源首发于崔庆才的我的博客静觅： Python3网络爬虫开发实战教程 | 静觅

如想了解更多爬虫资讯，请关注个人我的微信公众号：进击的Coder

weixin.qq.com/r/5zsjOyvEZ… (二维码自动识别)