【一块儿学爬虫】scrapy框架的安装

简介

scrapy是一个强大的异步爬虫框架，具备丰富的组件，有了scrapy框架，咱们只须要关心爬虫的逻辑就能够了。

scrapy框架的安装

scrapy的安装有多种方式,它支持 Python2.7版本及以上或 Python3.3版本及以上。下面说明 Python3环境下的安装过程

scrap依赖的库比较多,至少须要依赖库有 Twisted14.0,m34, pyopenSSL0.14。而在不一样平台环境又各不相同,因此在安装以前最好确保把一些基本库安装好,尤为是 Windows

windows平台

1.Anaconda 这种方法是一种比较简单的安装 scrap的方法(尤为是对 Windows来讲),你可使用该方法安装。

Anaconda是包含了经常使用的数据科学库的 Python发行版本,若是没有安装,能够到这里下载对应平台的包安装。若是已经安装,那么能够轻松地经过 conda命令安装 Scrap。 安装命令以下

conda install scrapy

---

方式2、比较繁琐

• 安装lxml 最好的安装方式是经过wheel文件来安装:从这里找到lxm的相关文件。 假如是 Python3.5版本, WIndows64位系统,那就找到 lxm-3.72cp35cp35 m-win amd64whl这个文件井下载,而后经过pip安装:

  

  下载后，运行以下命令安装：

pip install wheel pip install lxm1-3.7.2-cp35-cp35m-win_amd64.whl

注意：上面的whl文件为你下载的那个文件名，要切换到下载文件所在的目录执行上述指令

• 安装 pyOpenSSL

官方网站下载 wheel文件，如当前最新版本

名称是pyOpenSSL-19.0.0-py2.py3-none-any.whl ，下载后安装便可。

pip instal pyOpenSSL-19.0.0-py2.py3-none-any.whl

• 安装 Twisted

同理，下载 wheel文件，利用pip安装便可。

如Python 3.5版本，Windows 64位系统，下载Twisted‑19.2.0‑cp35‑cp35m‑win_amd64.whl，而后使用pip安装：

pip instal Twisted‑19.2.0‑cp35‑cp35m‑win_amd64.whl

• 安装 pywin32

从官方网站下载对应版本的安装包安装便可。

• 安装 scrapy

最后安装 scrapy便可，依然使用pip，命令以下:

pip instal scrapy

linux 平台： CentOS、RedHat、Fedora

1.安装依赖库 确保一些必须的类库已经安装 ， 运行以下命令:

sudo yum groupinstal development tools sudo yum instal python34-devel epel-release libxslt-devel libxml2-devel openssl-devel

2.安装scrapy

pip instal scrapy

Ubuntu、Debian、Deepin平台

1.依赖库安装 首先确保一些必须的类库已经安装 ， 运 行以下命令:

sudo apt-get instal build-essential python3-dev libssl-dev libffi-dev libxml2 libxml2-dev libxslt1-dev zliblg-dev 2.安装 Scrapy 利用pip安装 Scrapy便可， 运 行以下命令: pip3 instal1 scrapy

Mac OS平台

1.依赖库安装 在Mac上构建Scrapy的依赖库须要 C编译器以及开发头文件，它通常由Xcode提供， 运 行以下命令安装便可:

xcode-select --instal1 2.安装 scrapy

利用pip安装 scrapy便可， 运 行以下命令:

pip3 instal1 scrapy

验证是否安装成功

安装以后，在命令行下输入scrapy ，若是出现相似下方的结果，就证实Scrapy安装成功。

公众号‘菜鸟名企梦’后台发送“scrapy”便可获取scrapy的pdf安装文档

资料分享

java学习笔记、10T资料、100多个java项目分享

---

欢迎关注我的公众号【菜鸟名企梦】，公众号专一：互联网求职面经、java、python、爬虫、大数据等技术分享**： 公众号**菜鸟名企梦后台发送“csdn”便可免费领取【csdn】和【百度文库】下载服务； 公众号菜鸟名企梦后台发送“资料”:便可领取5T精品学习资料**、java面试考点和java面经总结，以及几十个java、大数据项目，资料很全，你想找的几乎都有