Scrapy框架之如何给你的请求添加代理

      首先做好准备工作，创建一个Scrapy项目，目录结构如下：       注：spiders目录下多了3个文件，db.py，default.init和items.json。db.py是我简单封装的一个数据库访问的lib文件，default.init是我的数据库和代理相关的配置文件，items.json是最后的输出文件。       给请求添加代理有2种方式，第一种是重写你的爬虫类的sta

>>阅读原文<<