Python requests 使用心得

最近在用requests写一些项目，碰见了一些问题，百度了不少，有些都不太好使，最后看了下requestsAPI文档，才明白了不少，最后项目趋于稳定。看来学东西仍是API文档比较权威啊~

问题场景

项目须要经过一台主机搭上代理向目标服务器定时交换数据，主机上同时跑着比较占用资源的其余项目。

项目设计思路

由于主机上已经运行了比较占用线程内存资源的其余项目，因此计划本项目就应该在不能太占用资源，的前提下保持比较流畅的运行。

设计了在线程下加上定时器的思路，定时运行相关网络请求方法。

请求量 ：每隔5秒钟，发送10 ~ 30个请求。

核心代码

headers = {"Content-Type": "application/json;charset=uf8"}
url = config.baseurl + path
try:
    
    response = requests.post(url, data= data, headers=headers ,stream= False,timeout= 10)

except Exception as indentfier:

    time.sleep(5)
    getLoaclObjs(False)

par = json.loads(data)

if response != None:
    print(" method name = ", par["IPCType"],"\n sendData = ",json.dumps(par), "\n response.state.code = ",response.status_code,"\n response.text = ",response.text,"\n\n", url, "\n\n")

问题：

报错：

HTTPConnectionPool(host='172.19.5.101', port=8085): Max retries exceeded with url: <url >(Caused by ConnectTimeoutError(<urllib3.connection.HTTPConnection object at 0x006DB1F0>, 'Connection to <server ip> timed out. (connect timeout=10)'))

分析：

报错的重点在于 connect timeout

解决方案

1.因为是timeout的报错，因此为了项目稳定首先要作的就是作好重连操做，在代码中其实已经作好了 try ... except 中 except中为错误处理。再次调用了方法。

2.处理事后数据交互没有了毛病，可是报错仍然频繁，甚至后边有了新的错误：

requests.exceptions.ConnectionError: ('Connection aborted.', ConnectionAbortedError(10053, '你的主机中的软件停止了一个已创建的链接。', None, 10053, None))

度娘和overflow都告诉我添加一下代码：

#设置重连次数
requests.adapters.DEFAULT_RETRIES = 15
# 设置链接活跃状态为False
s = requests.session()
s.keep_alive = False

基本上意思就是发出的网络请求比较频繁，requests内置的urllibs3不能及时的为咱们断开链接，因而就有了以上报错。
代码的基本意思就是断开链接、增长重试次数。

headers = {"Content-Type": "application/json;charset=uf8"}
url = config.baseurl + path
try:
     #设置重连次数
    requests.adapters.DEFAULT_RETRIES = 15
    # 设置链接活跃状态为False
    s = requests.session()
    s.keep_alive = False
    response = requests.post(url, data= data, headers=headers ,stream= False,timeout= 10)

except Exception as indentfier:

    time.sleep(5)
    getLoaclObjs(False)

par = json.loads(data)

if response != None:
    print(" method name = ", par["IPCType"],"\n sendData = ",json.dumps(par), "\n response.state.code = ",response.status_code,"\n response.text = ",response.text,"\n\n", url, "\n\n")

还有别的处理方法就是增长代理，因为主机是用代理的，因此项目换别的代理就不太现实，不然有可能直接链接不上目标服务器。

因而想到了直接管理内存,文档上是这么表述的：

好消息——归功于 urllib3，同一会话内的持久链接是彻底自动处理的！同一会话内你发出的任何请求都会自动复用恰当的链接！
注意：只有全部的响应体数据被读取完毕链接才会被释放为链接池；因此确保将 stream 设置为 False 或读取 Response 对象的 content 属性。

也就是说除非stream=False或者response.content /response.text被操做，否则该请求不会被释放。
同其余的自动管理内存的语言同样，不论垃圾回收仍是引用计数，都存在一个问题就是内存释放比较缓慢，因而我就在代码中手动关闭了链接。

headers = {'Content-Type': "application/json;charset=uf8"}
    url = baseurl + path
    response = None
    try:
        #设置重连次数
        requests.adapters.DEFAULT_RETRIES = 5
        s = requests.session()
        # 设置链接活跃状态为False
        s.keep_alive = False
        response = requests.post(url, data=data, headers=headers,stream=False,timeout= 10)
        # 关闭请求  释放内存
        response.close()
        del(response)  
    except Exception as indentfier:

        time.sleep(5)
        timer = threading.Timer(timerFlag, upload_position)
        timer.start()

最终有效减小了报错次数。

__End ~

   
   
   

友情连接:

我的网站       技术博客        简书主页