python之web模块学习-- urllib

时间 2020-07-23

标签 python web 模块学习 urllib 栏目 Python 繁體版

原文原文链接

准备写一些列的 python之web模块学习，基本上涉及经常使用的的web模块，包括 urllib、urllib二、httplib、urlparse、requests，如今，开始咱们的第一个模块的学习吧。html

1 urllib简介 python

python urllib 模块提供了一个从指定的URL地址获取网页数据，而后对其进行分析处理，获取咱们想要的数据。web

2 经常使用方法缓存

2.1 urlopen -- 建立一个类文件对象为读取指定的URLbash

help(urllib.urlopen)

urlopen(url, data=None, proxies=None)
    Create a file-like object for the specified URL to read from.
参数：
    url ：表示远程数据的路径，通常是http或者ftp路径。
    data ：表示以get或者post方式提交到url的数据。
    proxies ：表示用于代理的设置。

Python 经过urlopen函数来获取html数据，urlopen返回一个类文件对象，它提供了以下经常使用方法：
服务器

    1）read() , readline() , readlines()，fileno()和close()：这些方法的使用与文件对象彻底同样。
    2）info()：返回一个httplib.HTTPMessage 对象，表示远程服务器返回的头信息。
    3）getcode()：返回Http状态码，若是是http请求，200表示请求成功完成;404表示网址未找到。
    4）geturl()：返回请求的url地址。多线程

附代码：ide

>>> import urllib
>>> response = urllib.urlopen('http://www.51cto.com') 
>>>res.read()
。。。。。。（一堆网页代码）
>>>res.readline()
'<!DOCTYPE html PUBLIC "-//W3C//DTDXHTML 1.0 Transitional//EN""http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd">\r\n' 
。。。。
>>>res.readlines()
。。。（list形式的一堆网页代码）
>>>res.info()
<httplib.HTTPMessage instance at0x1a02638>
>>> response.getcode()  # 返回Http状态码
    200
>>> response.geturl() # 返回请求的url地址 
    'http://www.51cto.com'
>>> response.close() # 最后别忘了关闭链接

urllib中还提供了一些辅助方法，用于对url进行编码、解码。url中是不能出现一些特殊的符号的，有些符号有特殊的用途。咱们知道以get方式提交数据的时候，会在url中添加key=value这样的字符串，因此在value中是不容许有'='，所以要对其进行编码；与此同时服务器接收到这些参数的时候，要进行解码，还原成原始的数据。这个时候，这些辅助方法会颇有用：
函数

附带的其余方法：（主要是url编码解码）post

- urllib.quote(string[, safe])：对字符串进行编码。参数safe指定了不须要编码的字符
- urllib.unquote(string) ：对字符串进行解码
- urllib.quote_plus(string [ , safe ] ) ：与urllib.quote相似，但这个方法用'+'来替换' '，而quote用'%20'来代替' '
- urllib.unquote_plus(string ) ：对字符串进行解码
- urllib.urlencode(query[, doseq])：将dict或者包含两个元素的元组列表转换成url参数。例如 字典{'name': 'wklken', 'pwd':'123'}将被转换为"name=wklken&pwd=123"  （经常使用）
#这里能够与urlopen结合以实现post方法和get方法
- urllib.pathname2url(path)：将本地路径转换成url路径
- urllib.url2pathname(path)：将url路径转换成本地路径

附代码：

>>> import urllib
>>>res = urllib.quote('I am 51cto')
>>> res
'I%20am%2051cto'
>>>urllib.unquote(res)
'I am 51cto'
>>>res = urllib.quote_plus('I am 51cto')
>>> res
'I+am+51cto'
>>>urllib.unquote_plus(res)
'I am 51cto'
>>> params = {'name':'51cto','pwd':'51cto'}
>>>urllib.urlencode(params)
'pwd=51cto&name=51cto'
>>>l2u=urllib.pathname2url('E:\51cto')
'E%3A%29cto'
>>>urllib.url2pathname(l2u)
'E:)cto'

2.2 urlretrieve -- 直接将远程的数据下载到本地

help(urllib.urlretrieve)
urlretrieve(url, filename=None,reporthook=None, data=None)
参数：
    url ：指定下载的URL
    finename ：指定了保存本地路径（若是参数未指定，urllib会生成一个临时文件保存数据。
    reporthook ：是一个回调函数，当链接上服务器、以及相应的数据块传输完毕时会触发该回调，咱们能够利用这个回调函数来显示当前的下载进度。
    data： 表示post到服务器的数据，该方法返回一个包含两个元素的(filename,headers)元组，

下面是一个 urlretrieve方法下载文件的实例，能够显示下载进度：

#!/usr/bin/env python
# -*- coding: utf-8 -*-

import urllib
import os

def schedule(a,b,c):
    ''' 回调函数
    @a:已经下载的数据
    @b:数据块的大小
    @c:远程文件的大小
    '''

    per = 100.0 * a * b / c
    if per > 100:
        per = 100
    print "%.2f%%" % per
url = 'http://www.python.org/ftp/python/2.7.5/Python-2.7.5.tar.bz2'
local = os.path.join('c:','Python-2.7.5.tar.bz2')
urllib.urlretrieve(url,local,schedule)

2.3 urlcleanup -- 清除因为urllib.urlretrieve()所产生的缓存

经过上面的练习能够知道，urlopen能够轻松获取远端html页面信息，而后经过python正则对所须要的数据进行分析，匹配出想要用的数据，而后利用urlretrieve将数据下载到本地。对于访问受限或者对链接数有限制的远程url地址能够采用proxies（代理的方式）链接，若是远程数据量过大，单线程下载太慢的话能够采用多线程下载，这个就是传说中的爬虫。

上面介绍的前两个方法是urllib中最经常使用的方法，这些方法在获取远程数据的时候，内部会使用URLopener或者 FancyURLOpener类。做为urllib的使用者，咱们不多会用到这两个类。若是对urllib的实现感兴趣，或者但愿urllib支持更多的协议，能够研究这两个类。在Python手册中，urllib的做者还列出了这个模块的缺陷和不足，感兴趣的能够打开 Python手册了解一下。

urllib ：https://docs.python.org/2/library/urllib.html