scrapy爬取免费代理IP存储到数据库构建自有IP池

以抓取西刺代理网站的高匿IP并存储到mysql数据库为例 西刺网：http://www.xicidaili.com/nn/ 运行环境：scrapy1.0.3 python2.7.10 需要安装MySQLdb模块  pip install mysql-python spider的编写步骤： 1、定义抓取的网站 2、定义需要抓取的链接 3、用xpath对网站内容进行解析 填写settings.py文件

>>阅读原文<<