urllib爬虫封装（可设置代理，记录日志）方法

urllib爬虫封装（具体其余功能根据需求完善） 1.支持设置HTTP Request Headers ,能设置UA。 2.支持代理服务器的设置。 3.它支持timeout超时机制。 4.它支持网页 的编码指定。 5.它支持服务器返回的错误处理 若是>400 and <500 直接记录日志， 若是错误码是500-600 则从新发起请求。javascript # -*- coding: utf-8

>>阅读原文<<