scrapy入门教程1:scrapy环境配置以及安装

0. 基本环境说明

  1. 本文截图及运行环境均在MAC OS X 10.9.5上实现,但基本步骤与win 7环境上相同(其实我是先在win7折腾了一把,而后为了写这篇教程,又在OS X 上面从新搞了一遍)python

  2. scrapy版本为1.0linux

  3. 参考文献以及下载连接:数据库

1. 基本环境配置

1. anaconda

刚接触python和机器学习的人,想必已经被python中眼花缭乱的安装包和相关类库搞的菊花一紧。我以前也是各类血泪史,彻底没有老司机带着我。折腾了差很少半个月,python环境依旧装的破破烂烂。Windows和linux以及MACOS环境下都是演过了,各类蛋疼。直到某一天我见到了anaconda。才感受这个世界上依旧是好人多,人间仍是充满爱的。机器学习

anaconda是一个开源的、免费的python类库的集合,貌似一装就安装了200+的包,各类依赖包各类搞定。因此赶快戳顶层连接去下载吧。下面介绍的其余工具一些是anaconda自带的,一些是经过anaconda安装的,总之,anaconda是一切的基石。scrapy

2. MySQL 模块安装

anaconda模块居然木有自带MySQL链接模块,用下面的命令来安装吧,后面抓取的内容要塞到数据库里面的哟~工具

conda install MySQL-python

3. scrapy 安装

下面就是安装scrapy了,其实也是简单的不要要的~,由于咱们已经安装了anaconda,因此一切都简单的不要要的哟~,里面会让你有些包更新,直接输入y确认就行了。学习

conda install scrapy

注意:在使用conda install 安装的过程当中,有时候由于网络问题或者其余问题会引发失败,此时要仔细看提示说明,寻找缘由,若是是网络缘由的话,从新输入以上命令便可~。我教研室有个师弟,由于网络缘由装了8回,因此骚年洗洗菊花作好准备吧~code

相关文章
相关标签/搜索