爬虫入门之Requests模块学习

1 Requests模块解析

Requests 惟一的一个非转基因的 Python HTTP 库，人类能够安全享用

Requests 继承了urllib2的全部特性。Requests支持HTTP链接保持和链接池，支持使用cookie保持会话，支持文件上传，支持自动肯定响应内容的编码，支持国际化的 URL 和 POST 数据自动编码。

requests 的底层实现其实就是 urllib3
Requests的文档很是完备，中文文档也至关不错。Requests能彻底知足当前网络的需求，支持Python 2.6—3.5，并且能在PyPy下完美运行。

开源地址：github.com/kennethreit…

中文文档 API：docs.python-requests.org/zh_CN/lates…

安装

pip install requests复制代码

2 requests之get与post

(1) 基本的GET请求

response = requests.get("http://www.baidu.com/")
response = requests.request("get", "http://www.baidu.com/")复制代码

(2) 添加headers 和查询参数

若是想添加 headers，能够传入headers参数来增长请求头中的headers信息。若是要将参数放在url中传递，能够利用params参数。

import requests

kw = {'wd':'长城'}
headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.99 Safari/537.36"}
# params 接收一个字典或者字符串的查询参数，字典类型自动转换为url编码，不须要urlencode()
response = requests.get("http://www.baidu.com/s?", params = kw, headers = headers)
# 查看响应内容，response.text 返回的是Unicode格式的数据
print response.text
# 查看响应内容，response.content返回的字节流数据
print respones.content
# 查看完整url地址
print response.url
# 查看响应头部字符编码
print response.encoding
# 查看响应码
print response.status_code

#输出
......  太多省略
......
'http://www.baidu.com/s?wd=%E9%95%BF%E5%9F%8E'
'utf-8'
200复制代码

使用response.text 时，Requests 会基于 HTTP 响应的文本编码自动解码响应内容，大多数 Unicode 字符集都能被无缝地解码。

使用response.content 时，返回的是服务器响应数据的原始二进制字节流，能够用来保存图片等二进制文件。

python开发IT交流群：887934385 提供资料，源码，共同交流，奋进

(3) 基本之POST请求

response = requests.post("http://www.baidu.com/", data = data)复制代码

(4) 传入data数据
对于 POST 请求来讲，咱们通常须要为它增长一些参数。那么最基本的传参方法能够利用data这个参数.

import requests

def youdaoAPI(kw):
    ''' :param kw: 翻译的内容:return:'''
    # translate_o 去掉_o 这属于其反爬措施
    url = "http://fanyi.youdao.com/translate?smartresult=dict&smartresult=rule"
    response = requests.post(url, data=kw, headers=header)
    res = response.content
    tgt = json.loads(res)
    print(tgt["translateResult"])

if __name__ == '__main__':

    kw = input("请输入你想翻译的内容：")
    timet = int(time.time() * 1000)
    data = {
        "i": kw,
        "from": "AUTO",
        "to": "AUTO",
        "smartresult": "dict",
        "client": "fanyideskweb",
        "salt": timet,
        "sign": "f66461b42fe9edb6d88230788fb33cfb",
        "doctype": "json",
        "version": "2.1",
        "keyfrom": "fanyi.web",
        "action ": "FY_BY_REALTIME",
        "typoResult ": "false",
    }
    youdaoAPI(data)复制代码

3 json文件数据

(1) json方法

print(response.json())  #所以json数据很好爬取

#输出
{"type":"EN2ZH_CN","errorCode":0,"elapsedTime":2,"translateResult":[[{"src":"i love python","tgt":"我喜欢python"}]],"smartResult":{"type":1,"entries":["","肆文","高德纳"]}}
{u'errorCode': 0, u'elapsedTime': 0, u'translateResult': [[{u'src': u'i love python', u'tgt': u'\u6211\u559c\u6b22python'}]], u'smartResult': {u'type': 1, u'entries': [u'', u'\u8086\u6587', u'\u9ad8\u5fb7\u7eb3']}, u'type': u'EN2ZH_CN'}

obj = json.loads()
json.dumps(obj,ensure_ascii = False)复制代码

(2) 代理设置

若是须要使用代理，你能够经过为任意请求方法提供proxies参数来配置单个请求：

import requests
# 根据协议类型，选择不一样的代理
proxies = {
  "http": "http://12.34.56.79:9527",
  "https": "http://12.34.56.79:9527",
}
response = requests.get("http://www.baidu.com", proxies = proxies)  #添加代理参数
print(response.text)
# 带密码代理
httpProxy = {"https": "http://User1:123456@10.3.132.6:808"}复制代码

(3) web客户端验证
若是是Web客户端验证，须要添加 auth = (帐户名, 密码)

import requests
auth=('test', '123456') #用户名与密码
response = requests.get('http://192.168.199.107', auth = auth)
print(response.text)复制代码

4 cookies与session

(1) cookies

若是一个响应中包含了cookie，那么咱们能够利用 cookies参数拿到：

import requests

response = requests.get("http://www.baidu.com/")
# 7. 返回CookieJar对象:
cookiejar = response.cookies
# 8. 将CookieJar转为字典：
cookiedict = requests.utils.dict_from_cookiejar(cookiejar)

print(cookiejar)
print(cookiedict)复制代码

运行结果：

<RequestsCookieJar[<Cookie BDORZ=27315 for .baidu.com/>]>
{'BDORZ': '27315'}复制代码

(2) session

在 requests 里，session对象是一个很是经常使用的对象，这个对象表明一次用户会话：从客户端浏览器链接服务器开始，到客户端浏览器与服务器断开。

会话能让咱们在跨请求时候保持某些参数，好比在同一个 Session 实例发出的全部请求之间保持 cookie 。

实现人人网登陆

import requests

# 1. 建立session对象，能够保存Cookie值
ssion = requests.session()

# 2. 处理 headers
headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.99 Safari/537.36"}

# 3. 须要登陆的用户名和密码
data = {"email":"mr_mao_hacker@163.com", "password":"alarmchime"}  

# 4. 发送附带用户名和密码的请求，并获取登陆后的Cookie值，保存在ssion里
ssion.post("http://www.renren.com/PLogin.do", data = data)

# 5. ssion包含用户登陆后的Cookie值，能够直接访问那些登陆后才能够访问的页面
response = ssion.get("http://www.renren.com/410043129/profile")

# 6. 打印响应内容
print(response.text)
处理HTTPS请求 SSL证书验证
Requests也能够为HTTPS请求验证SSL证书：

#要想检查某个主机的SSL证书，你可使用 verify 参数（也能够不写）
import requests
response = requests.get("https://www.baidu.com/", verify=True)

# 也能够省略不写
# response = requests.get("https://www.baidu.com/")
print r.text复制代码

若是SSL证书验证不经过，或者不信任服务器的安全证书，则会报出SSLError，听说 12306 证书是本身作的：
来测试一下：

import requests
response = requests.get("https://www.12306.cn/mormhweb/")
print response.text
#果真:
SSLError: ("bad handshake: Error([('SSL routines', 'ssl3_get_server_certificate', 'certificate verify failed')],)",)

若是咱们想跳过 12306 的证书验证，把 verify 设置为 False 就能够正常请求了。
import requests
response = requests.get("https://www.12306.cn/mormhweb/",verify=False)
print response.text复制代码

5 正则复习

#单字修饰符
.   匹配任意字符，除了换行符
[] 用来表示一组字符,单独列出：[abc] 匹配 'a'，'b'或'c'
\d  匹配任意数字，等价于 [0-9].
\D 匹配任意非数字
\w 匹配字母数字及下划线
\W  匹配非字母数字及下划线
\s 匹配任意空白字符，等价于 [\t\n\r\f].
\S 匹配任意非空字符

#数量修饰符
*  匹配0个或多个的表达式
+ 匹配1个或多个的表达式
? 匹配0个或1个由前面的正则表达式定义的片断，非贪婪方式
{m} 前面字符出现m次
{m,} 前面字符出现至少m次
{m,n} 前面字符出现m~n次

#边界修饰符
^  以...开始
$  以...结尾
eg.  
'^abc' 匹配以abc开头
‘abc$' 匹配以abc结尾 #分组修饰符 () 匹配括号内的表达式，也表示一个组 \1 \2 匹配第一、2个分组的内容 #贪婪模式 : 尽量多的匹配 #模式修饰符 re.S 单行模式 re.M 多行模式 re.I 忽略大小写 #re.complie() compile 函数用于编译正则表达式，生成一个正则表达式Pattern对象 #findall() 在字符串中找到正则表达式所匹配的全部子串，并返回一个列表，若是没有找到匹配的，则返回空列表。复制代码

6 设置User Agent的方法

1.在建立Request对象的时候，填入headers参数(包含User Agent信息)，这个Headers参数要求为字典；

2.在建立Request对象的时候不添加headers参数，在建立完成以后，使用add_header()的方法，添加headers

#方法一
from urllib import request

if __name__ == "__main__":
    url = 'http://www.csdn.net/'
    head = {}
    #写入User Agent信息
    head['User-Agent'] = 'Mozilla/5.0 (Linux; Android 4.1.1; Nexus 7 Build/JRO03D) AppleWebKit/535.19 (KHTML, like Gecko) Chrome/18.0.1025.166 Safari/535.19'
    #建立Request对象
    req = request.Request(url, headers=head)
    #传入建立好的Request对象
    response = request.urlopen(req)
    #读取响应信息并解码
    html = response.read().decode('utf-8')
    #打印信息
    print(html)

#方法二 
from urllib import request
if __name__ == "__main__":
    #以CSDN为例，CSDN不更改User Agent是没法访问的
    url = 'http://www.csdn.net/'
    #建立Request对象
    req = request.Request(url)
    #传入headers
    req.add_header('User-Agent', 'Mozilla/5.0 (Linux; Android 4.1.1; Nexus 7 Build/JRO03D) AppleWebKit/535.19 (KHTML, like Gecko) Chrome/18.0.1025.166 Safari/535.19')
    #传入建立好的Request对象
    response = request.urlopen(req)
    #读取响应信息并解码
    html = response.read().decode('utf-8')
    #打印信息
    print(html)复制代码

7 设置ip代理

(1)调用urlib.request.ProxyHandler()，proxies参数为一个字典。

(2)建立Opener(相似于urlopen，这个代开方式是咱们本身定制的)

(3)安装Opener

from urllib import request

if __name__ == "__main__":
    #访问网址
    url = 'http://www.whatismyip.com.tw/'
    #这是代理IP
    proxy = {'http':'106.46.136.112:808'}
    #建立ProxyHandler
    proxy_support = request.ProxyHandler(proxy)
    #建立Opener
    opener = request.build_opener(proxy_support)
    #添加User Angent
    opener.addheaders = [('User-Agent','Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/56.0.2924.87 Safari/537.36')]
    #安装OPener
    request.install_opener(opener)
    #使用本身安装好的Opener
    response = request.urlopen(url)
    #读取相应信息并解码
    html = response.read().decode("utf-8")
    #打印信息
    print(html)复制代码

python开发IT交流群：887934385 提供资料，源码，共同交流，奋进

更多精彩文章请继续关注微信公众号【python社区营】