Scrapy爬取伯乐在线的所有文章

本篇文章将从搭建虚拟环境开始，爬取伯乐在线上的所有文章的数据。 搭建虚拟环境之前需要配置环境变量，该环境变量的变量值为虚拟环境的存放目录 1. 配置环境变量 2.创建虚拟环境   用mkvirtualenv命令进行创建，--python后面加上python的安装目录，可以选择不同版本的python.这也是用到虚拟环境的好处。最后的scrapy_env是虚拟环境的名字。创建完成之后可以看到前面小括号

>>阅读原文<<