05_urllib（1）之发送请求

前言：

---

 

在Python 2中，有urllib和urllib2两个库来实现请求的发送。而在Python 3中，已经不存在urllib2这个库了，统一为urllib，其官方文档连接为：https://docs.python.org/3/library/urllib.html。

首先，了解一下urllib库，它是Python内置的HTTP请求库，也就是说不须要额外安装便可使用。它包含以下4个模块。

• request：它是最基本的HTTP请求模块，能够用来模拟发送请求。就像在浏览器里输入网址而后回车同样，只须要给库方法传入URL以及额外的参数，就能够模拟实现这个过程了。
• error：异常处理模块，若是出现请求错误，咱们能够捕获这些异常，而后进行重试或其余操做以保证程序不会意外终止。
• parse：一个工具模块，提供了许多URL处理方法，好比拆分、解析、合并等。
• robotparser：主要是用来识别网站的robots.txt文件，而后判断哪些网站能够爬，哪些网站不能够爬，它其实用得比较少。

这里重点讲解一下前3个模块。

---

 

使用urllib的request模块，咱们能够方便地实现请求的发送并获得响应，本节就来看下它的具体用法。

1. urlopen()

urllib.request模块提供了最基本的构造HTTP请求的方法，利用它能够模拟浏览器的一个请求发起过程，同时它还带有处理受权验证（authenticaton）、重定向（redirection)、浏览器Cookies以及其余内容。

下面咱们来看一下它的强大之处。这里以Python官网为例，咱们来把这个网页抓下来：

1 2 3 4

import urllib.request   response = urllib.request.urlopen('https://www.python.org') print(response.read().decode('utf-8'))

运行结果如图3-1所示。

图3-1 运行结果

这里咱们只用了两行代码，便完成了Python官网的抓取，输出了网页的源代码。获得源代码以后呢？咱们想要的连接、图片地址、文本信息不就均可以提取出来了吗？

接下来，看看它返回的究竟是什么。利用type()方法输出响应的类型：

1 2 3 4

import urllib.request   response = urllib.request.urlopen('https://www.python.org') print(type(response))

 

输出结果以下：

1	<class 'http.client.HTTPResponse'>

 

能够发现，它是一个HTTPResposne类型的对象。它主要包含read()、readinto()、getheader(name)、getheaders()、fileno()等方法，以及msg、version、status、reason、debuglevel、closed等属性。

获得这个对象以后，咱们把它赋值为response变量，而后就能够调用这些方法和属性，获得返回结果的一系列信息了。

例如，调用read()方法能够获得返回的网页内容，调用status属性能够获得返回结果的状态码，如200表明请求成功，404表明网页未找到等。

下面再经过一个实例来看看：

 

1 2 3 4 5 6

import urllib.request   response = urllib.request.urlopen('https://www.python.org') print(response.status) print(response.getheaders()) print(response.getheader('Server'))

 

运行结果以下：

1 2 3

200 [('Server', 'nginx'), ('Content-Type', 'text/html; charset=utf-8'), ('X-Frame-Options', 'SAMEORIGIN'), ('X-Clacks-Overhead', 'GNU Terry Pratchett'), ('Content-Length', '47397'), ('Accept-Ranges', 'bytes'), ('Date', 'Mon, 01 Aug 2016 09:57:31 GMT'), ('Via', '1.1 varnish'), ('Age', '2473'), ('Connection', 'close'), ('X-Served-By', 'cache-lcy1125-LCY'), ('X-Cache', 'HIT'), ('X-Cache-Hits', '23'), ('Vary', 'Cookie'), ('Strict-Transport-Security', 'max-age=63072000; includeSubDomains')] nginx

可见，前两个输出分别输出了响应的状态码和响应的头信息，最后一个输出经过调用getheader()方法并传递一个参数Server获取了响应头中的Server值，结果是nginx，意思是服务器是用Nginx搭建的。

利用最基本的urlopen()方法，能够完成最基本的简单网页的GET请求抓取。

若是想给连接传递一些参数，该怎么实现呢？首先看一下urlopen()函数的API：

1	urllib.request.urlopen(url, data=None, [timeout, ]*, cafile=None, capath=None, cadefault=False, context=None)

能够发现，除了第一个参数能够传递URL以外，咱们还能够传递其余内容，好比data（附加数据）、timeout（超时时间）等。

下面咱们详细说明下这几个参数的用法。

data参数

data参数是可选的。若是要添加该参数，而且若是它是字节流编码格式的内容，即bytes类型，则须要经过bytes()方法转化。另外，若是传递了这个参数，则它的请求方式就再也不是GET方式，而是POST方式。

下面用实例来看一下：

1 2 3 4 5 6

import urllib.parse import urllib.request   data = bytes(urllib.parse.urlencode({'word': 'hello'}), encoding='utf8') response = urllib.request.urlopen('http://httpbin.org/post', data=data) print(response.read())

这里咱们传递了一个参数word，值是hello。它须要被转码成bytes（字节流）类型。其中转字节流采用了bytes()方法，该方法的第一个参数须要是str（字符串）类型，须要用urllib.parse模块里的urlencode()方法来将参数字典转化为字符串；第二个参数指定编码格式，这里指定为utf8。

这里请求的站点是httpbin.org，它能够提供HTTP请求测试。本次咱们请求的URL为http://httpbin.org/post，这个连接能够用来测试POST请求，它能够输出请求的一些信息，其中包含咱们传递的data参数。

运行结果以下：

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18

{      "args": {},      "data": "",      "files": {},      "form": {          "word": "hello"      },      "headers": {          "Accept-Encoding": "identity",          "Content-Length": "10",          "Content-Type": "application/x-www-form-urlencoded",          "Host": "httpbin.org",          "User-Agent": "Python-urllib/3.5"      },      "json": null,      "origin": "123.124.23.253",      "url": "http://httpbin.org/post" }

咱们传递的参数出如今了form字段中，这代表是模拟了表单提交的方式，以POST方式传输数据。

timeout参数

timeout参数用于设置超时时间，单位为秒，意思就是若是请求超出了设置的这个时间，尚未获得响应，就会抛出异常。若是不指定该参数，就会使用全局默认时间。它支持HTTP、HTTPS、FTP请求。

下面用实例来看一下：

1 2 3 4

import urllib.request   response = urllib.request.urlopen('http://httpbin.org/get', timeout=1) print(response.read())

运行结果以下：

1 2 3 4 5

During handling of the above exception, another exception occurred:   Traceback (most recent call last): File "/var/py/python/urllibtest.py", line 4, in <module> response = urllib.request.urlopen('http://httpbin.org/get', timeout=1) ... urllib.error.URLError: <urlopen error timed out>

这里咱们设置超时时间是1秒。程序1秒事后，服务器依然没有响应，因而抛出了URLError异常。该异常属于urllib.error模块，错误缘由是超时。

所以，能够经过设置这个超时时间来控制一个网页若是长时间未响应，就跳过它的抓取。这能够利用try except语句来实现，相关代码以下：

1 2 3 4 5 6 7 8 9

import socket import urllib.request import urllib.error   try:     response = urllib.request.urlopen('http://httpbin.org/get', timeout=0.1) except urllib.error.URLError as e:     if isinstance(e.reason, socket.timeout):         print('TIME OUT')

这里咱们请求了http://httpbin.org/get测试连接，设置超时时间是0.1秒，而后捕获了URLError异常，接着判断异常是socket.timeout类型（意思就是超时异常），从而得出它确实是由于超时而报错，打印输出了TIME OUT。

运行结果以下：

1

TIME OUT

按照常理来讲，0.1秒内基本不可能获得服务器响应，所以输出了TIME OUT的提示。

经过设置timeout这个参数来实现超时处理，有时仍是颇有用的。

其余参数

除了data参数和timeout参数外，还有context参数，它必须是ssl.SSLContext类型，用来指定SSL设置。

此外，cafile和capath这两个参数分别指定CA证书和它的路径，这个在请求HTTPS连接时会有用。

cadefault参数如今已经弃用了，其默认值为False。

前面讲解了urlopen()方法的用法，经过这个最基本的方法，咱们能够完成简单的请求和网页抓取。若需更加详细的信息，能够参见官方文档：https://docs.python.org/3/library/urllib.request.html。

2. Request

咱们知道利用urlopen()方法能够实现最基本请求的发起，但这几个简单的参数并不足以构建一个完整的请求。若是请求中须要加入Headers等信息，就能够利用更强大的Request类来构建。

首先，咱们用实例来感觉一下Request的用法：

1 2 3 4 5

import urllib.request   request = urllib.request.Request('https://python.org') response = urllib.request.urlopen(request) print(response.read().decode('utf-8'))

能够发现，咱们依然是用urlopen()方法来发送这个请求，只不过此次该方法的参数再也不是URL，而是一个Request类型的对象。经过构造这个数据结构，一方面咱们能够将请求独立成一个对象，另外一方面可更加丰富和灵活地配置参数。

下面咱们看一下Request能够经过怎样的参数来构造，它的构造方法以下：

1	class urllib.request.Request(url, data=None, headers={}, origin_req_host=None, unverifiable=False, method=None)

• 第一个参数url用于请求URL，这是必传参数，其余都是可选参数。
• 第二个参数data若是要传，必须传bytes（字节流）类型的。若是它是字典，能够先用urllib.parse模块里的urlencode()编码。
• 第三个参数headers是一个字典，它就是请求头，咱们能够在构造请求时经过headers参数直接构造，也能够经过调用请求实例的add_header()方法添加。

  添加请求头最经常使用的用法就是经过修改User-Agent来假装浏览器，默认的User-Agent是Python-urllib，咱们能够经过修改它来假装浏览器。好比要假装火狐浏览器，你能够把它设置为：  

  1	Mozilla/5.0 (X11; U; Linux i686) Gecko/20071127 Firefox/2.0.0.11

   
• 第四个参数origin_req_host指的是请求方的host名称或者IP地址。
• 第五个参数unverifiable表示这个请求是不是没法验证的，默认是False，意思就是说用户没有足够权限来选择接收这个请求的结果。例如，咱们请求一个HTML文档中的图片，可是咱们没有自动抓取图像的权限，这时unverifiable的值就是True`。
• 第六个参数method是一个字符串，用来指示请求使用的方法，好比GET、POST和PUT等。

下面咱们传入多个参数构建请求来看一下：

1 2 3 4 5 6 7 8 9 10 11 12 13 14

from urllib import request, parse   url = 'http://httpbin.org/post' headers = {     'User-Agent': 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)',     'Host': 'httpbin.org' } dict = {     'name': 'Germey' } data = bytes(parse.urlencode(dict), encoding='utf8') req = request.Request(url=url, data=data, headers=headers, method='POST') response = request.urlopen(req) print(response.read().decode('utf-8'))

这里咱们经过4个参数构造了一个请求，其中url即请求URL，headers中指定了User-Agent和Host，参数data用urlencode()和bytes()方法转成字节流。另外，指定了请求方式为POST。

运行结果以下：

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18

{   "args": {},   "data": "",   "files": {},   "form": {     "name": "Germey"   },   "headers": {     "Accept-Encoding": "identity",     "Content-Length": "11",     "Content-Type": "application/x-www-form-urlencoded",     "Host": "httpbin.org",     "User-Agent": "Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)"   },   "json": null,   "origin": "219.224.169.11",   "url": "http://httpbin.org/post" }

观察结果能够发现，咱们成功设置了data、headers和method。

另外，headers也能够用add_header()方法来添加：

 

1 2	req = request.Request(url=url, data=data, method='POST') req.add_header('User-Agent', 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)')

如此一来，咱们就能够更加方便地构造请求，实现请求的发送啦。

3. 高级用法

在上面的过程当中，咱们虽然能够构造请求，可是对于一些更高级的操做（好比Cookies处理、代理设置等），咱们该怎么办呢？

接下来，就须要更强大的工具Handler登场了。简而言之，咱们能够把它理解为各类处理器，有专门处理登陆验证的，有处理Cookies的，有处理代理设置的。利用它们，咱们几乎能够作到HTTP请求中全部的事情。

首先，介绍一下urllib.request模块里的BaseHandler类，它是全部其余Handler的父类，它提供了最基本的方法，例如default_open()、protocol_request()等。

接下来，就有各类Handler子类继承这个BaseHandler类，举例以下。

• HTTPDefaultErrorHandler：用于处理HTTP响应错误，错误都会抛出HTTPError类型的异常。
• HTTPRedirectHandler：用于处理重定向。
• HTTPCookieProcessor：用于处理Cookies。
• ProxyHandler：用于设置代理，默认代理为空。
• HTTPPasswordMgr：用于管理密码，它维护了用户名和密码的表。
• HTTPBasicAuthHandler：用于管理认证，若是一个连接打开时须要认证，那么能够用它来解决认证问题。

另外，还有其余的Handler类，这里就不一一列举了，详情能够参考官方文档：https://docs.python.org/3/library/urllib.request.html#urllib.request.BaseHandler。

关于怎么使用它们，如今先不用着急，后面会有实例演示。

另外一个比较重要的类就是OpenerDirector，咱们能够称为Opener。咱们以前用过urlopen()这个方法，实际上它就是urllib为咱们提供的一个Opener。

那么，为何要引入Opener呢？由于须要实现更高级的功能。以前使用的Request和urlopen()至关于类库为你封装好了极其经常使用的请求方法，利用它们能够完成基本的请求，可是如今不同了，咱们须要实现更高级的功能，因此须要深刻一层进行配置，使用更底层的实例来完成操做，因此这里就用到了Opener。

Opener可使用open()方法，返回的类型和urlopen()一模一样。那么，它和Handler有什么关系呢？简而言之，就是利用Handler来构建Opener。

下面用几个实例来看看它们的用法。

验证

有些网站在打开时就会弹出提示框，直接提示你输入用户名和密码，验证成功后才能查看页面，如图3-2所示。

图3-2 验证页面

那么，若是要请求这样的页面，该怎么办呢？借助HTTPBasicAuthHandler就能够完成，相关代码以下：

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18

from urllib.request import HTTPPasswordMgrWithDefaultRealm, HTTPBasicAuthHandler, build_opener from urllib.error import URLError   username = 'username' password = 'password' url = 'http://localhost:5000/'   p = HTTPPasswordMgrWithDefaultRealm() p.add_password(None, url, username, password) auth_handler = HTTPBasicAuthHandler(p) opener = build_opener(auth_handler)   try:     result = opener.open(url)     html = result.read().decode('utf-8')     print(html) except URLError as e:     print(e.reason)

这里首先实例化HTTPBasicAuthHandler对象，其参数是HTTPPasswordMgrWithDefaultRealm对象，它利用add_password()添加进去用户名和密码，这样就创建了一个处理验证的Handler。

接下来，利用这个Handler并使用build_opener()方法构建一个Opener，这个Opener在发送请求时就至关于已经验证成功了。

接下来，利用Opener的open()方法打开连接，就能够完成验证了。这里获取到的结果就是验证后的页面源码内容。

代理

在作爬虫的时候，免不了要使用代理，若是要添加代理，能够这样作：

1 2 3 4 5 6 7 8 9 10 11 12 13

from urllib.error import URLError from urllib.request import ProxyHandler, build_opener   proxy_handler = ProxyHandler({     'http': 'http://127.0.0.1:9743',     'https': 'https://127.0.0.1:9743' }) opener = build_opener(proxy_handler) try:     response = opener.open('https://www.baidu.com')     print(response.read().decode('utf-8')) except URLError as e:     print(e.reason)

 

这里咱们在本地搭建了一个代理，它运行在9743端口上。

这里使用了ProxyHandler，其参数是一个字典，键名是协议类型（好比HTTP或者HTTPS等），键值是代理连接，能够添加多个代理。

而后，利用这个Handler及build_opener()方法构造一个Opener，以后发送请求便可。

Cookies

Cookies的处理就须要相关的Handler了。

咱们先用实例来看看怎样将网站的Cookies获取下来，相关代码以下：

1 2 3 4 5 6 7 8

import http.cookiejar, urllib.request   cookie = http.cookiejar.CookieJar() handler = urllib.request.HTTPCookieProcessor(cookie) opener = urllib.request.build_opener(handler) response = opener.open('http://www.baidu.com') for item in cookie:     print(item.name+"="+item.value)

首先，咱们必须声明一个CookieJar对象。接下来，就须要利用HTTPCookieProcessor来构建一个Handler，最后利用build_opener()方法构建出Opener，执行open()函数便可。

运行结果以下：

1 2 3 4 5 6

BAIDUID=2E65A683F8A8BA3DF521469DF8EFF1E1:FG=1 BIDUPSID=2E65A683F8A8BA3DF521469DF8EFF1E1 H_PS_PSSID=20987_1421_18282_17949_21122_17001_21227_21189_21161_20927 PSTM=1474900615 BDSVRTM=0 BD_HOME=0

能够看到，这里输出了每条Cookie的名称和值。

不过既然能输出，那可不能够输出成文件格式呢？咱们知道Cookies实际上也是以文本形式保存的。

答案固然是确定的，这里经过下面的实例来看看：

1 2 3 4 5 6

filename = 'cookies.txt' cookie = http.cookiejar.MozillaCookieJar(filename) handler = urllib.request.HTTPCookieProcessor(cookie) opener = urllib.request.build_opener(handler) response = opener.open('http://www.baidu.com') cookie.save(ignore_discard=True, ignore_expires=True)

这时CookieJar就须要换成MozillaCookieJar，它在生成文件时会用到，是CookieJar的子类，能够用来处理Cookies和文件相关的事件，好比读取和保存Cookies，能够将Cookies保存成Mozilla型浏览器的Cookies格式。

运行以后，能够发现生成了一个cookies.txt文件，其内容以下：

1 2 3 4 5 6 7 8 9 10

# Netscape HTTP Cookie File # http://curl.haxx.se/rfc/cookie_spec.html # This is a generated file!  Do not edit.   .baidu.com    TRUE    /    FALSE    3622386254    BAIDUID    05AE39B5F56C1DEC474325CDA522D44F:FG=1 .baidu.com    TRUE    /    FALSE    3622386254    BIDUPSID    05AE39B5F56C1DEC474325CDA522D44F .baidu.com    TRUE    /    FALSE        H_PS_PSSID    19638_1453_17710_18240_21091_18560_17001_21191_21161 .baidu.com    TRUE    /    FALSE    3622386254    PSTM    1474902606 www.baidu.com    FALSE    /    FALSE        BDSVRTM    0 www.baidu.com    FALSE    /    FALSE        BD_HOME    0

另外，LWPCookieJar一样能够读取和保存Cookies，可是保存的格式和MozillaCookieJar不同，它会保存成libwww-perl(LWP)格式的Cookies文件。

要保存成LWP格式的Cookies文件，能够在声明时就改成：

1	cookie = http.cookiejar.LWPCookieJar(filename)

此时生成的内容以下：

1 2 3 4 5 6 7

#LWP-Cookies-2.0 Set-Cookie3: BAIDUID="0CE9C56F598E69DB375B7C294AE5C591:FG=1"; path="/"; domain=".baidu.com"; path_spec; domain_dot; expires="2084-10-14 18:25:19Z"; version=0 Set-Cookie3: BIDUPSID=0CE9C56F598E69DB375B7C294AE5C591; path="/"; domain=".baidu.com"; path_spec; domain_dot; expires="2084-10-14 18:25:19Z"; version=0 Set-Cookie3: H_PS_PSSID=20048_1448_18240_17944_21089_21192_21161_20929; path="/"; domain=".baidu.com"; path_spec; domain_dot; discard; version=0 Set-Cookie3: PSTM=1474902671; path="/"; domain=".baidu.com"; path_spec; domain_dot; expires="2084-10-14 18:25:19Z"; version=0 Set-Cookie3: BDSVRTM=0; path="/"; domain="www.baidu.com"; path_spec; discard; version=0 Set-Cookie3: BD_HOME=0; path="/"; domain="www.baidu.com"; path_spec; discard; version=0

由此看来，生成的格式仍是有比较大差别的。

那么，生成了Cookies文件后，怎样从文件中读取并利用呢？

下面咱们以LWPCookieJar格式为例来看一下：

1 2 3 4 5 6

cookie = http.cookiejar.LWPCookieJar() cookie.load('cookies.txt', ignore_discard=True, ignore_expires=True) handler = urllib.request.HTTPCookieProcessor(cookie) opener = urllib.request.build_opener(handler) response = opener.open('http://www.baidu.com') print(response.read().decode('utf-8'))

能够看到，这里调用load()方法来读取本地的Cookies文件，获取到了Cookies的内容。不过前提是咱们首先生成了LWPCookieJar格式的Cookies，并保存成文件，而后读取Cookies以后使用一样的方法构建Handler和Opener便可完成操做。

运行结果正常的话，会输出百度网页的源代码。

经过上面的方法，咱们能够实现绝大多数请求功能的设置了。

这即是urllib库中request模块的基本用法，若是想实现更多的功能，能够参考官方文档的说明：https://docs.python.org/3/library/urllib.request.html#basehandler-objects。

转载于：静觅 » [Python3网络爬虫开发实战] 3.1.1-发送请求