Python+Scrapy

准备作一个爬虫，看了一下Python比较合适，花了一天时间学了一下语法，又找了一下有专门的爬虫框架Scrapy。如下是学习过程。

1. 安装Scrapy

　　中文说明：http://scrapy-chs.readthedocs.org/zh_CN/latest/intro/install.html

    Required：

        （1） Python2.7。

        （2） lxml.

 　　　　　　这个中直接有各类版本的lxml，包括windows中的exe格式的。https://pypi.python.org/simple/lxml/

　　　　　　 安装完后在Python IDLE 中经过"import lxml"试试，若是没有报错，那就是安装好了！

　　　（3） OpenSSL

　　　　　　 参看平台安装指南。其中须要将C:\python27\Scripts 和 C:\python27 添加到系统路径中。而个人Python文件夹中没有Script文件夹，看了一下发现是easy_install相关的内容。直接安装setuptools便可自动生成Script文件夹。

　　　　　　Tips：注意路径跟本身安装的路径相同，不必定跟此处列出来的一致。

　　　　其余python的包按照平台安装指南就能够了。　　

　　直接经过在cmd中输入“easy_install Scrapy” 就自动安装Scrapy了。

在运行的过程当中发现，还须要安装service_identity。具体参见：http://blog.csdn.net/niying/article/details/27103081