1、自学Scrapy：Scrapy环境安装

你们好，出于兴趣，最近在看Scrapy，之前也学习过其余的一些知识，可是由于没有记录，本身学过了，过一段时间就忘记了，原先发现的一些问题，在未来又从头处理了一遍，另外我也看了不少网友分享的文章和代码，决定仍是要下决心，坚持学习，坚持记录，不断分享，不断提升。

闲话很少说，以上文字主要是自勉。

开始学习之前，先声明件事情：如下内容及之后的内容，均是我本身学习的理解，必定会有些地方写的不对，或者有歧义，可能和你的认识矛盾或者冲突，勿喷，喜欢看，接着看，不喜欢看，右上角有一个×，点击，就不会看到我了。谢谢！

一、Scrapy是什么？

官网说明我就不翻译了，由于英语很烂。网友说明我也不翻译了，抄来抄去的，你们看着就想喷。

就我我的以为，Scrapy就是一个工具，这套工具很强大，很自由，用起来很爽，由于你能够发挥你的创造力用好这个工具。那么这个工具是干什么呢？我如今用它学习的时候就是从网站上爬取我想要的数据，毕竟不是全部网站都提供数据调用接口的，更多的网站数据想要获取下来，要么付费，要么获取不到全部，因此这个工具出现了，一个爬取网页的工具。

二、Scrapy须要什么样的环境？

目前，最新版本是1.2.1。运行于Python2.7和Python3（更高）。由于Scrapy须要依赖于Twisted，而Twisted不支持Windows环境的Python3，因此在Windows的Python3是不能用Scrapy。

三、Linux安装Scrapy。

Scrapy对于python来讲，就是一个module。因此安装方式和安装module同样的，也是经过pip和easy_install。

我用的Linux Mate。系统是基于Ubuntu的，官方文档中建议不要使用系统中的python-scrapy，由于版本太老了，因此须要先更新系统的依赖包。$

$ sudo apt-get install python-dev python-pip libxml2-dev libxslt1-dev zlib1g-dev libffi-dev libssl-dev
$ sudo pip2 install scrapy

pip之因此用pip2，是由于个人系统中pip默认是使用Python3。

四、Windows安装Scrapy。

这个安装就很是复杂了，由于单纯的pip会提示不少错误，缺这个缺那个。不过有牛人写的一篇文章很不错，你们看看http://blog.csdn.net/simple__happyness/article/details/52056486

我转载的地址：https://my.oschina.net/namespace/blog/777694

五、测试环境安装成功打开终端，进入python环境，输入import scrapy没有提示错误即安装成功。

$ python

Python 2.7.12 (default, Jul  1 2016, 15:12:24) 

[GCC 5.4.0 20160609] on linux2

Type "help", "copyright", "credits" or "license" for more information.

>>> import scrapy

>>>