四、Python爬虫中urllib库的相关介绍

 

*************** urllib 库相关介绍 ********************

官方文档地址：
https://docs.python.org/3/library/urllib.html

什么是urllib

urllib 是Python内置的HTTP请求库

包括如下模块：
urllib.request 请求模块
urllib.error 异常处理模块
urllib.parse url解析模块
urllib.robotparser.robots.txt 解析模块

*********************************************************

urlopen 方法：

关于 urllib.request.urlopen 参数的介绍

urllib.request.urlopen( url,
data = None,
[timeout,]*,
cafile = None,
capath = None,
cadefault = False,
context = None
)

============> urlopen 通常经常使用的有三个参数，它的参数以下：

urllib.request.urlopen(url,data,timeout)

*************实例代码

import urllib.request

url = "http://www.baidu.com"

response = urllib.request.urlopen(url)

print( response )

print( response.read() )

**************

response.read()能够获取到网页的内容，若是没有read()，将返回以下内容

<http.client.HTTPResponse object at 0x00000000029A4C88>

返回一个 HTTPResponse 对象

*********************************************************

data 参数的使用

这里经过http://httpbin.org/post 网站演示（该网站能够做为练习使用
urllib的一个站点使用，能够模拟各类请求操做）

*************实例代码

import urllib.parse
import urllib,request

data = bytes(urllib.parse.urlencode( {"word":"hello"} ), encoding = "utf-8" )
print(data)

# =========> 结果为 b'word=hello'

response = urllib.request.urlopen("http://httpbin.org/post", data = data)
print(response.read())

这里就用到了urll.parse，经过bytes(urllib.parse.urlencode()) 能够将post数据
进行转换放到urllib.request.urlopen的data参数中，这样就完成了一次post请求，
因此若是咱们添加data参数的时候就是以post请求方式请求，若是没有data参数就是
get方式请求

*********************************************************

timeout 参数的使用

在某些网络状况很差或者服务端异常的状况下会出现请求慢的状况，或者请求
异常，因此这个时候咱们须要给请求设置一个超时时间，而不是让程序一致等待结果

*************实例代码

import urllib.request

url = "http://www.baidu.com"

response = urllib.request.urlopen(url,timeout = 0.01)

print(response.status)

程序执行后，会出现报错，致使程序异常终止，并非咱们所但愿的

***************timeout 参数代码优化

import urllib.request
import urllib.error
import socket

try:
response = urllib.request.urlopen("http://www.baidu.com",timeout = 0.01)

except urllib.error.URLError as e:
if isinstance(e.reason,socket.timeout):
print(" Time Out!!! ")

*********************************************************

request

设置 Headers

有不少网站为了防止爬虫爬网站形成网站瘫痪，会须要携带一些headers头部信息
才能访问，最多见的有 user-agent 参数

*************实例代码

import urllib.request

request = urllib.request.Request("https://python.org")

response = urllib.request.urlopen(request)

print(response.read().decode("utf-8"))

*************实例代码,添加请求头信息方式一

from urllib import request,parse

url = "http://httpbin.org/post"

headers = {
'User-Agent': 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)',
'Host': 'httpbin.org'
}

dict = {
"name" : "ceshi"
}

data = bytes(parse.urlencode(dict),encoding="utf-8")

req = request.Request(url = url, data = data ,headers = headers , method = "POST" )

response = request.urlopen(req)

print(response.read().edcode("utf-8"))

*************实例代码,添加请求头信息方式二

from urllib import request,parse

url = "http://httpbin.org/post"

dict = {
"name" : "ceshi"
}
data = bytes(parse.urlencode(dict),encoding="utf-8")
req = request.Request(url = url ,data = data ,method = "POST")

req.add_header('User-Agent', 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)')

response = request.urlopen(req)

print(response.read().decode("utf-8"))

# 这种添加方式有个好处是本身能够定义一个请求头字典，而后循环进行添加

*********************************************************

代理，ProxyHandler

经过urllib.request.ProxyHandler() 能够设置代理，网站它会检测某一段时间某个IP的
访问次数，若是访问次数过多，它会禁止你的访问，因此这个时候须要经过设置代理来爬取数据

*************实例代码

import urllib.request

proxy_handler = urllib.request.ProxyHandler(
{
'http': 'http://127.0.0.1:9743',
'https': 'https://127.0.0.1:9743'
}
)
opener = urllib.request.build_opener(proxy_Handler)

response = opener.open("http://htpbin.org/get")

print(response.read())

*********************************************************

cookie,HTTPCookieProcessor

cookie中保存了咱们常见的登陆信息，有时候爬取网站须要携带cookie信息访问，这里
用到了http.cookiejar,用于获取cookie以及存储cookie

***************实例代码

import http.cookiejar,urllib.request

cookie = http.cookiejar.CookieJar()

handler = urllib.request.HTTPCookieProcessor(cookie)

opener = urllib.request.build_opener(handler)

response = opener.open("http://www.baidu.com")

for item in cookie:
print(item.name + " = " + item.value)

同时cookie能够写入到文件中保存，有两种方式http.cookiejar.MozillaCookieJar 和
http.cookiejar.LWPCookieJar()

******************** 代码实例

import http.cookiejar ,urllib.request
filename = "cookie.txt"
cookie = http.cookiejar.MozillaCookieJar(filename)
handler = urllib.request.HTTPCookieProcessor(cookie)
opener = urllib.request.build_opener(handler)
response = opener.open("http://www.baidu.com")
cookie.save(ignore_discard = True , ignore_expires = True)

********************* 异常处理

在不少时候咱们经过程序访问页面的时候，有的页面可能会出现错误，相似404,500等错误
这个时候须要咱们捕获异常

from urll import request,error

try:
response = request.urlopen("http://pythonsite.com/1111.html")

except error.URLError as e:
print(e.reason)

上述代码访问一个不存在的页面，经过捕获异常，咱们能够打印异常错误

这里咱们知道的是urllib 异常有两个异常错误

URLError,HTTPError，

HTTPError是URLError的子类

URLError里只有一个属性：reason，即抓取异常的时候只能打印错误信息

HTTPError，里面有三个属性，code，reason，headers，即抓取异常的时候能够得到
code，reason，headers 三个信息

********************* 异常处理

from urllib import request,error

try:
response = request.urlopen("http://pythonsite.com/1111.html")

except error.HTTPError as e:
print(e.reason)
print(e.code)
print(e.headers)

except error.URLError as e:
print(e.reason)

else:
print("request.successfully")

******************************************** URL 解析 **********************

urlparse() ====》对地址进行拆分

urllib.parse.urlparse(urlstring,scheme="", allow_fragments = True )

功能一：

from urllib.parse import urlparse

result = urlparse("http://www.baidu.com/index.html;user?id=5#comment")
print(result)

运行结果：
ParseResult(scheme='http',
netloc='www.baidu.com',
path='/index.html',
params='user',
query='id=5',
fragment='comment'
)
该方法能够对传入的URL 地址进行拆分

*******************************************************************************

urlunparse() =======》该功能和urlparse的功能相反，它用于拼接

from urllib.parse import urlunparse

data = ["http","www.baidu.com","index.html","user","a=123","comment"]
print(urlunparse(data))

运行结果：
http://www.baidu.com/index.html;user?a=123#comment

*******************************************************************************

urljoin() 方法 ========》 URL拼接

from urllib.parse import urljoin

print(urljoin('http://www.baidu.com', 'FAQ.html'))
print(urljoin('http://www.baidu.com', 'https://pythonsite.com/FAQ.html'))
print(urljoin('http://www.baidu.com/about.html', 'https://pythonsite.com/FAQ.html'))
print(urljoin('http://www.baidu.com/about.html', 'https://pythonsite.com/FAQ.html?question=2'))
print(urljoin('http://www.baidu.com?wd=abc', 'https://pythonsite.com/index.php'))
print(urljoin('http://www.baidu.com', '?category=2#comment'))
print(urljoin('www.baidu.com', '?category=2#comment'))
print(urljoin('www.baidu.com#comment', '?category=2'))

从拼接的结果来看，拼接的时候后面的优先级高于前面的url

*******************************************************************************

urlencode() 方法 =========》 这个方法能够将字典转化为URL 参数

from urllib.parse import urlencode

params = {
"name":"ceshi",
"age":23
}
base_url = "http://www.baidu.com"

url = base_url + urlencode(params)

print(url)

能够将字典转化为URL参数信息

*******************************************************************************

下载图片的小代码（简单的，目前只能下载百度上图片专栏的图片，专业网站的收费图片不支持）

# 下载图片
import urllib.request

def download_image(image_url,filename):
image_url = input("请输入下载图片的连接地址： ")
filename = input("请输入保存图片的名称")
response = urllib.request.urlopen(image_url)
with open(filename + ".jpg", "wb") as fp:
fp.write(response.read())

return filename + ".jpg"

download_image("url","filename")