python爬虫从入门到放弃（三）- Urllib库的基本使用方法1

Urllib 是Python自带的标准库，无需安装，直接能够用。
提供了以下功能：

网页请求
响应获取
代理和cookie设置
异常处理
URL解析

爬虫所须要的功能，基本上在urllib中都能找到，学习这个标准库，能够更加深刻的理解后面更加便利的requests库。

---

先来一个最简单的例子：

from urllib import request

 response = urllib.request.urlopen('http://www.baidu.com')
 print(response.read().decode('utf-8'))

执行后就能够获得百度首页的 HTML 。

response对象有一个read方法，能够返回获取到的网页内容。

若是不加read直接打印会直接打印出了该对象的描述

上面使用了一个 urlopen的函数，urlopen()函数用于实现对目标url的访问。

urlopen 语法

urllib.request.urlopen(url,data=None,[timeout,]*,cafile=None,capath=None,cadefault=False,context=None)
#url:访问的网址

#data:额外的数据，如header，form data

从上一篇文章能够看到数据传送主要分为POST和GET两种方式。那这两种方式有什么区别呢？

最重要的区别：

GET方式直接以连接形式访问，连接中包含了全部的参数，若包含了密码的话是不安全的，不过你能够直观地看到本身提交了什么内容。POST则不会在网址上显示全部的参数，不过若是你想直接查看提交了什么就不太方便了。

POST方式：

先演示一下吧：

import urllib.parse
 import urllib.request

 values = {"username":"1559186****","password":"*********"}
 data = urllib.parse.urlencode(values)
 url = "https://passport.csdn.net/account/login"
 response = urllib.request.urlopen(url,data)
 print(response.read())

urlencode是一个函数，可将字符串以URL编码，用于编码处理。

能够看到核心的代码是 response = urllib.request.urlopen(url,data)

这里用到了data参数（或者说POST方式用到了data参数）。例子上的data参数中的内容十分简单、因此并不能真正的登陆。

GET方式：

一样的，先举个例子：

import urllib.parse
 import urllib.request

 values = {"username":"15591861964","password":"yanhang1235813"}
 data = urllib.parse.urlencode(values)
 url = "https://passport.csdn.net/account/login"
 geturl = url + "?"+data
 response = urllib.request.urlopen(geturl)
 print(response.read())

能够看到此次的核心代码是这样的 ：response = urllib.request.urlopen(geturl)

没有了data参数、只是url参数。而URL参数的内容是原来的url加 ？而后加编码后的参数。

从上面的POST和GET两种不一样方式的例子就验证了一个结论，

GET方式直接以连接形式访问，连接中包含了全部的参数

POST则不会在网址上显示全部的参数

---

下面是扩展学习的一些东西（Urllib库的其余内容)

timeout参数的使用

开始练习的时候我是对 http://httpbin.org/post 这个网站发的请求，可是迟迟没有响应、、、

最终返回了报错信息
urllib.error.HTTPError: HTTP Error 503: Service Unavailable

那若是给请求设置一个超时时间应该会好一点，urlopen有一个timeout参数

from urllib import request

 response = request.urlopen('http://httpbin.org/get', timeout=0.1)
 print(response.read())

此次的错误返回信息是：

urllib.error.URLError: <urlopen error timed out>

也能够将这个做为异常、捕获处理

import socket
import urllib.request
import urllib.error

try:
    response = urllib.request.urlopen('http://httpbin.org/get', timeout=0.1)
except urllib.error.URLError as e:
    if isinstance(e.reason, socket.timeout):
        print('TIME OUT')

---

做者：Ghost9
来源：CSDN
原文：https://blog.csdn.net/Ghost9/article/details/80255039