Python Requests 小技巧总结

关于 Python Requests ,在使用中,总结了一些小技巧把,分享下。python


1:保持请求之间的Cookies,咱们能够这样作。git

import requests
self.session = requests.Session()
self.session.get(login_url) # 能够保持登陆态

2:请求时,会加上headers,通常咱们会写成这样github

self.session.get(url, params, headers=headers)

惟一不便的是以后的代码每次都须要这么写,代码显得臃肿,因此咱们能够这样:web

#在构造函数中,这样设置是全局的。

# 设置请求头
self.s = requests.Session()
self.s.headers = {'balabala'}

# 移除服务器验证
self.s.verify = False

# 设置代理
self.s.proxies={'aa'}

# 若是后续headers有改变,再次赋值就能够了。
self.s.get(url, params, headers=new_headers)

3:默认requests请求失败后不会重试,可是咱们跑case时不免遇到一些网络,服务重启,外部缘由致使case失败,咱们能够在Session实例上附加HTTPAdapaters 参数,增长失败重试次数。json

request_retry = requests.adapatrs.HTTPAdapaters(max_retries=3)

self.session.mount('https://',request_retry)  
self.session.mount('http://',request_retry)

这样,以后的请求,若失败,重试3次。后端


4:重定向
网络请求中可能会遇到重定向,咱们须要一次处理一个请求,能够把重定向禁止。api

self.session.post(url,data,allow_redirects=False)

5: post请求提交json格式数据时(请求头为:{“Content-Type”: “application/json”}),通常先要把python对象转换成json对象。可能不少时候是这样写:服务器

self.session.post(url, data=json.dumps(data))。

其实post有一个默认参数json,能够直接简写成:cookie

self.session.post(url, json=data)

6:写接口请求,debug时,会须要看下代码请求的详细信息,固然咱们可使用fiddler来查看,其实咱们本身也能够在代码这样获取debug信息*网络

import requests
import logging
import httplib as http_client

http_client.HTTPConnection.debuglevel = 1

logging.basicConfig()
logging.getLogger().setLevel(logging.DEBUG)
requests_log = logging.getLogger("requests.packages.urllib3")
requests_log.setLevel(logging.DEBUG)
requests_log.propagate = True

requests.get('https://www.baidu.com')

#更好的方法是本身封装一个装饰器,就能够为任意请求函数添加一个debug功能。

7:使用grequests实现异步请求。

pip install grequests

import grequests

urls = [
    'http://www.url1.com',
    'http://www.url2.com',
    'http://www.url3.com',
    'http://www.url4.com',
    'http://www.url5.com',
    'http://www.url6.com',
]

resp = (grequests.get(u) for u in urls)
grequests.map(resp)

# [<Response [200]>, <Response [200]>, <Response [200]>, <Response [200]>, <Response [200]>, <Response [200]>]

8:发送自定义cookies
咱们使用Session实例来保持请求之间的cookies,可是有些特殊状况,须要使用自定义的cookies
咱们能够这样

# 自定义cookies
cookie = {'guid':'5BF0FAB4-A7CF-463E-8C17-C1576fc7a9a8','uuid':'3ff5f4091f35a467'}

session.post('http://wikipedia.org', cookies=cookie)

9:需求肯定先后端并行设计时,这时测试并无办法调用接口,如何作接口测试呢?咱们可使用mock或者是httpretty

import requests
import httpretty

# 模拟返还的状态码
@httpretty.activate
def test_beta1_access():
    httpretty.register_uri(httpretty.GET, "http://beta.com/",
                           body="here is the mocked body",
                           status=201)

    response = requests.get('http://beta.com')
    expect(response.status_code).to.equal(201)

# 模拟返还response的body
@httpretty.activate
def test_some_api():
    httpretty.register_uri(httpretty.GET, "http://beta.com/",
                           body='{"success": false}',
                           content_type='text/json')

    response = requests.get('http://beta.com/')

    expect(response.json()).to.equal({'success': False})

详细使用能够查看API_DOC


10:统计一个API请求花费的时间,咱们可使用以下方法

self.session.get(url).elapsed

11:设置请求超时

self.session.get(url, timeout=15)

# timeout 仅对链接过程有效,与响应体的下载无关。 
# timeout 并非整个下载响应的时间限制,而是若是服务器在15 秒内没有应答,将会引起一个异常(更精确地说,是在 timeout 秒内没有从基础套接字上接收到任何字节的数据时)

关于Python ,requests的小技巧,就是这些。