python 使用 requests 库, 抓取 网站, chunk 报 IncompleteRead异常解决方案

1. 首先在网上搜, 搜到 http://blog.csdn.net/wangzuxi/article/details/40377467  python requests接收chunked编码问题  这篇文章, 按文中所说 加断点, 发现拦截不到

2. 只能本身一点一点跟踪, 发现

requests\packages\urllib3\response.py 故障点在这
535 行 收到"" chunk 报异常

try:
            self.chunk_left = int(line, 16) #zn123 chunk="" raise Exception
        except ValueError:
            # Invalid chunked protocol response, abort.
            self.close()
            raise httplib.IncompleteRead(line)

同样的问题, 对方服务器返回chunk块不标准, 不返回 0\r\n\r\n

只能修改这个库

判断一下line 是否为"", 及解决了这个bug