Python3---标准库---urllib

前言

该文章主要说明Python3 标准库urllib的使用。

修改时间：20191216

修改时间：20191217

天象独行

0X01；urllib做用是什么？

　　urllib是Python3的一个内置标准库，主要用来进行http请求。其中主要包含四个常见模块。分别是：request，error，parse，robotparser。request模块功能提供一个基本的请求功能，来模拟http请求。error异常处理模块，主要功能是在出现错误的时候能够捕获异常。parse工具模块，提供了URL处理的方法，好比：拆分，解析，合并等。robotparser模块主要用来识别网站的robots.txt文件。

0X02；urllib.request模块

　　urllib.request模块当中常见使用方法有：

　　A；urlopen(url,data,timeout) 做用打开一个url方法，返回一个文件对象HttpResponse，而后能够进行相似文件对象的操做。

例如：基本使用方法。

 

 

 　　B；urllib.request.urlretrieve(url,filename=None,reporthook=None,data=None)做用下载定制的url内容到本地。

　　url：外部或者本地url。

　　filename：指定了保存到本地的路径（若是未指定该参数，urllib会生成一个临时文件来保存数据）。

　　reporthook：是一个回调函数，当链接上服务器，以及相应的数据块传输完毕的时候会触发该回调

　　data：指post到服务器的数据。该方法返回一个包含两个元素的元组（filename,headers）,filename表示保存到本地的路径，header表示服务器的响应头。

　　基本使用：

 

0X03;urllib.error模块

　　urllib.error模块做用是能够接收urllib.request产生的异常。其中包含了两个方法。即URLError,HTTPError。

　　A；URLError举例

 

 

 

　　B；HTTPError举例：

 

 

 0X04;urllib.parse模块

　　A;urlparse()方法做用：将URL分解为六个组件分别是：协议，位置，路径，参数，查询，片断

举例：

 

　　B；urlsplit方法相似于urlparse，区别在于urlsplit没有返回“params”

　　C；urlunparse(parts)方法做用，从urlparse()返回的元组元素构造一个URL。

举例：

 

　　D；urlunsplit方法与urlunparse相似。

　　E；parse_qs和parse_qsl

　　urllib.parse.parse_qs返回字典

　　urllib.parse.parse_qsl返回列表

举例：

 

　　F；urljoin(base,url,allow_fragments=True)做用组合两个URL.。注释：url必定须要完整的url。

举例：

 

　　G；quout()方法，做用URL编码

 

　　H；unquote()方法做用url解码

举例：

 

 

0X0X；补充说明：

　　A；HttpRequest类是一个封闭HTTP提交信息的类型,而封闭HTTP输出信息的类型就是HttpResponse类,使用HttpResponse类能够实现三种类型的输出,即文本,URL,二进制流.HTTPResposne 类型的对象，它主要包含的方法有 read()、readinto()，getheader(name)、getheaders()、fileno() 等方法和 msg、version、status、reason、debuglevel、closed 等属性。详情参考下面连接：https://www.iteye.com/blog/guoying252166655-2041373

　　B；try...except 在程序出现异常处理是使用。格式 try: 执行代码 except:发生异常时执行的代码。详情参考下面连接：https://www.runoob.com/python3/python3-errors-execptions.html

　　C；__main__是Python的内置变量，用于代指当前模块。详细参考下面连接：http://www.javashuo.com/article/p-kicuomml-x.html

　　D；字典是另外一种可变容器模型，且可存储任意类型的对象。

　　E；列表是最多见的Python数据类型，它能够做为一个方括号内的逗号分隔值出现。