关于scrapy爬取搜狐新闻网站的一点心得和体会

1，环境： 本人原本使用的是win 10（CPUi5,内存8G）的环境，但自己想搭建一个分布式的爬虫,于是自己想到了虚拟机，虚拟机的环境为Ubuntu14.04，但是由于各种原因，虚拟机中的python环境(python环境要求为python3.5+)已经被我弄乱了，我在网上看到说Ubuntu16.04中有默认的python3.5+,于是果断地用了Ubuntu16.04 2,当环境切换为Ubunt

>>阅读原文<<