urllib与urllib2的学习总结

时间 2019-11-08

标签 urllib urllib2 学习总结繁體版

原文原文链接

先啰嗦一句，我使用的版本是python2.7，没有使用3.X的缘由是我以为2.7的扩展比较多，且较以前的版本变化不大，使用顺手。3.X简直就是革命性的变化，用的蹩手。3.x的版本urllib与urllib2已经合并为一个urllib库，学着比较清晰些，2.7的版本呢urllib与urllib2各有各的做用，下面我把本身学习官方文档和其余资料的总结写下，方便之后使用。html

　　urllib与urllib2并非能够代替的，只能说2是一个补充吧。先来看看他们俩的区别，有一篇文章把urllib与urllib2的关系说的很明白《difference between urllib and urllib2》，意思以下。python

　　Python的urllib和urllib2模块都作与请求URL相关的操做，但他们提供不一样的功能。他们两个最显着的差别以下：web

　　urllib2能够接受一个Request对象，并以此能够来设置一个URL的headers，可是urllib只接收一个URL。这意味着，你不能假装你的用户代理字符串等。
　　urllib模块能够提供进行urlencode的方法，该方法用于GET查询字符串的生成，urllib2的不具备这样的功能。这就是urllib与urllib2常常在一块儿使用的缘由。

　　这两点对于用过urllib与urllib2的人来讲比较好理解，可是对于没用过的仍是不能有好的理解，下面参考官方的文档，把本身对urllib与urllib2的学习内容总结以下。浏览器

　　A.urllib2概述缓存

　　urllib2模块定义的函数和类用来获取URL（主要是HTTP的），他提供一些复杂的接口用于处理：基本认证，重定向，Cookies等。服务器

　　urllib2支持许多的“URL schemes”（由URL中的“：”以前的字符串肯定 - 例如“FTP”的URL方案如“ftp://python.org/”），且他还支持其相关的网络协议（如FTP，HTTP）。咱们则重点关注HTTP。cookie

　　在简单的状况下，咱们会使用urllib2模块的最经常使用的方法urlopen。但只要打开HTTP URL时遇到错误或异常的状况下，就须要一些HTTP传输协议的知识。咱们没有必要掌握HTTP RFC2616。这是一个最全面和最权威的技术文档，且不易于阅读。在使用urllib2时会用到HTTP RFC2616相关的知识，了解便可。网络

　　B.经常使用方法和类app

　　1) urllib2.urlopen(url[, data][, timeout])python2.7

　　urlopen方法是urllib2模块最经常使用也最简单的方法，它打开URL网址，url参数能够是一个字符串url或者是一个Request对象。URL没什么可说的，Request对象和data在request类中说明，定义都是同样的。

　　对于可选的参数timeout，阻塞操做以秒为单位，如尝试链接（若是没有指定，将使用设置的全局默认timeout值）。实际上这仅适用于HTTP，HTTPS和FTP链接。

　　先看只包含URL的请求例子：

import urllib2
response = urllib2.urlopen('http://python.org/')
html = response.read()

urlopen方法也可经过创建了一个Request对象来明确指明想要获取的url。调用urlopen函数对请求的url返回一个response对象。这个response相似于一个file对象，因此用.read()函数能够操做这个response对象，关于urlopen函数的返回值的使用，咱们下面再详细说。

import urllib2
req = urllib2.Request('http://python.org/')
response = urllib2.urlopen(req)
the_page = response.read()

　　这里用到了urllib2.Request类，对于上例，咱们只经过了URL实例化了Request类的对象，其实Request类还有其余的参数。

　　2) class urllib2.Request(url[, data][, headers][, origin_req_host][, unverifiable])

　　Request类是一个抽象的URL请求。5个参数的说明以下

　　URL——是一个字符串，其中包含一个有效的URL。

　　data——是一个字符串，指定额外的数据发送到服务器，若是没有data须要发送能够为“None”。目前使用data的HTTP请求是惟一的。当请求含有data参数时，HTTP的请求为POST，而不是GET。数据应该是缓存在一个标准的application/x-www-form-urlencoded格式中。urllib.urlencode()函数用映射或2元组，返回一个这种格式的字符串。通俗的说就是若是想向一个URL发送数据（一般这些数据是表明一些CGI脚本或者其余的web应用）。对于HTTP来讲这动做叫Post。例如在网上填的form（表单）时，浏览器会POST表单的内容，这些数据须要被以标准的格式编码（encode），而后做为一个数据参数传送给Request对象。Encoding是在urlib模块中完成的，而不是在urlib2中完成的。下面是个例子：

import urllib
import urllib2
url = 'http://www.someserver.com/cgi-bin/register.cgi'
values = {'name' : 'Michael Foord',
          'location' : 'Northampton',
          'language' : 'Python' }
data = urllib.urlencode(values)
req = urllib2.Request(url, data)
response = urllib2.urlopen(req)
the_page = response.read()

　　headers——是字典类型，头字典能够做为参数在request时直接传入，也能够把每一个键和值做为参数调用add_header()方法来添加。做为辨别浏览器身份的User-Agent header是常常被用来恶搞和假装的，由于一些HTTP服务只容许某些请求来自常见的浏览器而不是脚本，或是针对不一样的浏览器返回不一样的版本。例如，Mozilla Firefox浏览器被识别为“Mozilla/5.0 (X11; U; Linux i686) Gecko/20071127 Firefox/2.0.0.11”。默认状况下，urlib2把本身识别为Python-urllib/x.y（这里的xy是python发行版的主要或次要的版本号，如在Python 2.6中，urllib2的默认用户代理字符串是“Python-urllib/2.6。下面的例子和上面的区别就是在请求时加了一个headers，模仿IE浏览器提交请求。

import urllib
import urllib2
url = 'http://www.someserver.com/cgi-bin/register.cgi'
user_agent = 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)'
values = {'name' : 'Michael Foord',
          'location' : 'Northampton',
          'language' : 'Python' }
headers = { 'User-Agent' : user_agent }
data = urllib.urlencode(values)
req = urllib2.Request(url, data, headers)
response = urllib2.urlopen(req)
the_page = response.read()

　　标准的headers组成是(Content-Length, Content-Type and Host)，只有在Request对象调用urlopen()（上面的例子也属于这个状况）或者OpenerDirector.open()时加入。两种状况的例子以下：

　　使用headers参数构造Request对象，如上例在生成Request对象时已经初始化header，而下例是Request对象调用add_header(key, val)方法附加header（Request对象的方法下面再介绍）：

import urllib2
req = urllib2.Request('http://www.example.com/')
req.add_header('Referer', 'http://www.python.org/')
r = urllib2.urlopen(req)

　　OpenerDirector为每个Request自动加上一个User-Agent header，因此第二种方法以下（urllib2.build_opener会返回一个OpenerDirector对象，关于urllib2.build_opener类下面再说）：

import urllib2
opener = urllib2.build_opener()
opener.addheaders = [('User-agent', 'Mozilla/5.0')]
opener.open('http://www.example.com/')

　　最后两个参数仅仅是对正确操做第三方HTTP cookies 感兴趣，不多用到：

　　origin_req_host——是RFC2965定义的源交互的request-host。默认的取值是cookielib.request_host(self)。这是由用户发起的原始请求的主机名或IP地址。例如，若是请求的是一个HTML文档中的图像，这应该是包含该图像的页面请求的request-host。

　　unverifiable ——表明请求是不是没法验证的，它也是由RFC2965定义的。默认值为false。一个没法验证的请求是，其用户的URL没有足够的权限来被接受。例如，若是请求的是在HTML文档中的图像，可是用户没有自动抓取图像的权限，unverifiable的值就应该是true。

　　3) urllib2.install_opener(opener)和urllib2.build_opener([handler, ...])　

　　install_opener和build_opener这两个方法一般都是在一块儿用,也有时候build_opener单独使用来获得OpenerDirector对象。　　

　　install_opener实例化会获得OpenerDirector 对象用来赋予全局变量opener。若是想用这个opener来调用urlopen，那么就必须实例化获得OpenerDirector；这样就能够简单的调用OpenerDirector.open()来代替urlopen()。

　　build_opener实例化也会获得OpenerDirector对象，其中参数handlers能够被BaseHandler或他的子类实例化。子类中能够经过如下实例化：ProxyHandler (若是检测代理设置用), UnknownHandler, HTTPHandler, HTTPDefaultErrorHandler, HTTPRedirectHandler, FTPHandler, FileHandler, HTTPErrorProcessor。

import urllib2
req = urllib2.Request('http://www.python.org/')
opener=urllib2.build_opener()
urllib2.install_opener(opener)
f = opener.open(req)

　　如上使用 urllib2.install_opener()设置 urllib2 的全局 opener。这样后面的使用会很方便，但不能作更细粒度的控制，好比想在程序中使用两个不一样的 Proxy 设置等。比较好的作法是不使用 install_opener 去更改全局的设置，而只是直接调用 opener的open 方法代替全局的 urlopen 方法。

　　说到这Opener和Handler之间的操做听起来有点晕。整理下思路就清楚了。当获取一个URL时，可使用一个opener（一个urllib2.OpenerDirector实例对象，能够由build_opener实例化生成）。正常状况下程序一直经过urlopen使用默认的opener（也就是说当你使用urlopen方法时，是在隐式的使用默认的opener对象），但也能够建立自定义的openers（经过操做器handlers建立的opener实例）。全部的重活和麻烦都交给这些handlers来作。每个handler知道如何以一种特定的协议（http，ftp等等）打开url，或者如何处理打开url发生的HTTP重定向，或者包含的HTTP cookie。建立openers时若是想要安装特别的handlers来实现获取url（如获取一个处理cookie的opener，或者一个不处理重定向的opener）的话，先实例一个OpenerDirector对象，而后屡次调用.add_handler(some_handler_instance)来建立一个opener。或者，你能够用build_opener，这是一个很方便的建立opener对象的函数，它只有一个函数调用。build_opener默认会加入许多handlers，它提供了一个快速的方法添加更多东西和使默认的handler失效。
　　install_opener如上所述也能用于建立一个opener对象，可是这个对象是（全局）默认的opener。这意味着调用urlopen将会用到你刚建立的opener。也就是说上面的代码能够等同于下面这段。这段代码最终仍是使用的默认opener。通常状况下咱们用build_opener为的是生成自定义opener，没有必要调用install_opener，除非是为了方便。

import urllib2
req = urllib2.Request('http://www.python.org/')
opener=urllib2.build_opener()
urllib2.install_opener(opener)
f = urllib2.urlopen(req)

　　C.异常处理

　　当咱们调用urllib2.urlopen的时候不会老是这么顺利，就像浏览器打开url时有时也会报错，因此就须要咱们有应对异常的处理。
　　说到异常，咱们先来了解返回的response对象的几个经常使用的方法：

　　geturl() — 返回检索的URL资源，这个是返回的真正url，一般是用来鉴定是否重定向的，以下面代码4行url若是等于“http://www.python.org/ ”说明没有被重定向。

　　info() — 返回页面的原信息就像一个字段的对象，如headers，它以mimetools.Message实例为格式(能够参考HTTP Headers说明)。

　　getcode() — 返回响应的HTTP状态代码，运行下面代码能够获得code=200，具体各个code表明的意思请参见文后附录。

　　import urllib2
　　req = urllib2.Request('http://www.python.org/')
　　response=urllib2.urlopen(req)
　　url=response.geturl()
　　info=response.info()
　　code=response.getcode()

　　当不能处理一个response时，urlopen抛出一个URLError（对于python APIs，内建异常如，ValueError, TypeError 等也会被抛出。）

　　HTTPError是HTTP URL在特别的状况下被抛出的URLError的一个子类。下面就详细说说URLError和HTTPError。

　　URLError——handlers当运行出现问题时（一般是由于没有网络链接也就是没有路由到指定的服务器，或在指定的服务器不存在），抛出这个异常.它是IOError的子类.这个抛出的异常包括一个‘reason’ 属性,他包含一个错误编码和一个错误文字描述。以下面代码，request请求的是一个没法访问的地址，捕获到异常后咱们打印reason对象能够看到错误编码和文字描述。

    import urllib2
    req = urllib2.Request('http://www.python11.org/')
     try:
         response=urllib2.urlopen(req)
     except urllib2.URLError,e:
         print e.reason
         print e.reason[0]
         print e.reason[1]

运行结果：

　　HTTPError——HTTPError是URLError的子类。每一个来自服务器HTTP的response都包含“status code”. 有时status code不能处理这个request. 默认的处理程序将处理这些异常的responses。例如，urllib2发现response的URL与你请求的URL不一样时也就是发生了重定向时，会自动处理。对于不能处理的请求, urlopen将抛出HTTPError异常. 典型的错误包含‘404’ (没有找到页面), ‘403’ (禁止请求),‘401’ (须要验证)等。它包含2个重要的属性reason和code。

　　当一个错误被抛出的时候，服务器返回一个HTTP错误代码和一个错误页。你可使用返回的HTTP错误示例。这意味着它不但具备code和reason属性，并且同时具备read，geturl，和info等方法，以下代码和运行结果。

import urllib2
req = urllib2.Request('http://www.python.org/fish.html')
try:
    response=urllib2.urlopen(req)
except urllib2.HTTPError,e:
    print e.code
    print e.reason
    print e.geturl()
    print e.read()

运行结果:

若是咱们想同时处理HTTPError和URLError，由于HTTPError是URLError的子类，因此应该把捕获HTTPError放在URLError前面，如否则URLError也会捕获一个HTTPError错误，代码参考以下：

import urllib2
req = urllib2.Request('http://www.python.org/fish.html')
try:
    response=urllib2.urlopen(req)
except urllib2.HTTPError,e:
    print 'The server couldn\'t fulfill the request.'
    print 'Error code: ',e.code
    print 'Error reason: ',e.reason   
except urllib2.URLError,e:
    print 'We failed to reach a server.'
    print 'Reason: ', e.reason
else:
    # everything is fine
    response.read()

这样捕获两个异常看着不爽，并且HTTPError仍是URLError的子类，咱们能够把代码改进以下：

import urllib2
req = urllib2.Request('http://www.python.org/fish.html')
try:
    response=urllib2.urlopen(req)
except urllib2.URLError as e:
    if hasattr(e, 'reason'):
        #HTTPError and URLError all have reason attribute.
        print 'We failed to reach a server.'
        print 'Reason: ', e.reason
    elif hasattr(e, 'code'):
        #Only HTTPError has code attribute.
        print 'The server couldn\'t fulfill the request.'
        print 'Error code: ', e.code
else:
    # everything is fine
    response.read()

关于错误编码由于处理程序默认的处理重定向（错误码范围在300内），错误码在100-299范围内的表示请求成功，因此一般会看到的错误代码都是在400-599的范围内。具体错误码的说明看附录。

　　写到这上面屡次提到了重定向，也说了重定向是如何判断的，而且程序对于重定向时默认处理的。如何禁止程序自动重定向呢，咱们能够自定义HTTPRedirectHandler 类，代码参考以下：

class SmartRedirectHandler(urllib2.HTTPRedirectHandler):
    def http_error_301(self, req, fp, code, msg, headers):
        result = urllib2.HTTPRedirectHandler.http_error_301(self, req, fp, code, msg, headers)
        return result

    def http_error_302(self, req, fp, code, msg, headers):
        result = urllib2.HTTPRedirectHandler.http_error_302(self, req, fp, code, msg, headers)
        return result

附录：

# Table mapping response codes to messages; entries have the
# form {code: (shortmessage, longmessage)}.
responses = {
    100: ('Continue', 'Request received, please continue'),
    101: ('Switching Protocols',
          'Switching to new protocol; obey Upgrade header'),

    200: ('OK', 'Request fulfilled, document follows'),
    201: ('Created', 'Document created, URL follows'),
    202: ('Accepted',
          'Request accepted, processing continues off-line'),
    203: ('Non-Authoritative Information', 'Request fulfilled from cache'),
    204: ('No Content', 'Request fulfilled, nothing follows'),
    205: ('Reset Content', 'Clear input form for further input.'),
    206: ('Partial Content', 'Partial content follows.'),

    300: ('Multiple Choices',
          'Object has several resources -- see URI list'),
    301: ('Moved Permanently', 'Object moved permanently -- see URI list'),
    302: ('Found', 'Object moved temporarily -- see URI list'),
    303: ('See Other', 'Object moved -- see Method and URL list'),
    304: ('Not Modified',
          'Document has not changed since given time'),
    305: ('Use Proxy',
          'You must use proxy specified in Location to access this '
          'resource.'),
    307: ('Temporary Redirect',
          'Object moved temporarily -- see URI list'),

    400: ('Bad Request',
          'Bad request syntax or unsupported method'),
    401: ('Unauthorized',
          'No permission -- see authorization schemes'),
    402: ('Payment Required',
          'No payment -- see charging schemes'),
    403: ('Forbidden',
          'Request forbidden -- authorization will not help'),
    404: ('Not Found', 'Nothing matches the given URI'),
    405: ('Method Not Allowed',
          'Specified method is invalid for this server.'),
    406: ('Not Acceptable', 'URI not available in preferred format.'),
    407: ('Proxy Authentication Required', 'You must authenticate with '
          'this proxy before proceeding.'),
    408: ('Request Timeout', 'Request timed out; try again later.'),
    409: ('Conflict', 'Request conflict.'),
    410: ('Gone',
          'URI no longer exists and has been permanently removed.'),
    411: ('Length Required', 'Client must specify Content-Length.'),
    412: ('Precondition Failed', 'Precondition in headers is false.'),
    413: ('Request Entity Too Large', 'Entity is too large.'),
    414: ('Request-URI Too Long', 'URI is too long.'),
    415: ('Unsupported Media Type', 'Entity body in unsupported format.'),
    416: ('Requested Range Not Satisfiable',
          'Cannot satisfy request range.'),
    417: ('Expectation Failed',
          'Expect condition could not be satisfied.'),

    500: ('Internal Server Error', 'Server got itself in trouble'),
    501: ('Not Implemented',
          'Server does not support this operation'),
    502: ('Bad Gateway', 'Invalid responses from another server/proxy.'),
    503: ('Service Unavailable',
          'The server cannot process the request due to a high load'),
    504: ('Gateway Timeout',
          'The gateway server did not receive a timely response'),
    505: ('HTTP Version Not Supported', 'Cannot fulfill request.'),
    }