Scrapy 1.4 文档 02 安装指南

安装 Scrapy

Scrapy 运行在 Python 2.7 和 Python 3.3 或更高版本上。

若是您使用的是 Anaconda 或 Miniconda，则能够从 conda-forge 通道安装软件包，该通道具备适用于 Linux，Windows 和 OS X 的最新软件包。

使用 conda 安装 Scrapy，运行：

conda install -c conda-forge scrapy

或者，若是您已经熟悉 Python 软件包的安装，能够从 PyPI 安装 Scrapy 及其依赖的库：

pip install Scrapy

请注意，有时须要根据您的操做系统解决某些 Scrapy 依赖库的编译问题，所以请务必查看特定平台的安装说明。

咱们强烈建议您在专用的 virtualenv 中安装 Scrapy，以免与系统包冲突。

下面是有关各类平台更详细的说明。

最好要知道的事

Scrapy 软件包所有是用 Python 语言编写的，而且依赖几个关键的 Python 库（以及其余）：

• lxml，一个高效的 XML 和 HTML 解析器
• parsel，一个 HTML/XML 数据提取库，依赖 lxml 库
• w3lib，用于处理 URL 和网页编码的多用途助手
• twisted，一个异步网络框架
• cryptography 和 pyOpenSSL，以处理各类网络安全需求

Scrapy 测试过的最低版本是：

• Twisted 14.0
• lxml 3.4
• pyOpenSSL 0.14

这些库更低版本也可能使 Scrapy 正常工做，但在未来不能保证它继续工做，由于它们没有被测试。

其中一些软件包自己依赖非 Python 软件包，这可能须要额外的安装步骤，具体取决于您的平台。 请查看下面的平台安装指南。

若是这些依赖出现了问题，请参考各自的安装说明：

• lxml 安装
• cryptography 安装

使用虚拟环境（推荐）

（太长，别看）：咱们建议在全部平台的虚拟环境中安装 Scrapy。

Python 软件包能够在全局（也称为系统范围）也能够在用户空间中进行安装。 咱们不建议在系统空间中安装 Scrapy。

相反，咱们建议您在“虚拟环境”（virtualenv）中安装 Scrapy。Virtualenvs 避免了与已经安装的 Python 系统软件包发生冲突（可能会破坏您的一些系统工具和脚本），而且仍然能够经过 pip 安装软件包（没有 sudo 等）。

要开始使用虚拟环境，请参阅 virtualenv 安装说明。

$ [sudo] pip install virtualenv

查看这个用户指南，了解如何建立 virtualenv。

注意

在 Linux 或 OS X 上，virtualenvwrapper 是一个建立 virtualenvs 的便利工具。

一旦建立了一个 virtualenv，就能够像其余 Python 软件包同样在其中安装 Scrapy。 （有关可能须要事先安装的非 Python 依赖关系，请参阅下面的针对特定平台的指南）。

默认状况下，能够建立 Python virtualenvs 以使用 Python 2，或者默认使用 Python 3。

• 若是要在 Python 3 中使用 scrapy，请在 Python 3 virtualenv 中安装 scrapy。
• 若是要在 Python 2 中使用 scrapy，请在 Python 2 virtualenv 中安装 scrapy。

具体平台安装说明

Windows

虽然可使用 pip 在 Windows 上安装 Scrapy，但咱们建议您安装 Anaconda 或 Miniconda，并使用 conda-forge 通道中的软件包以免大多数安装问题。

安装 Anaconda 或 Miniconda 后，安装 Scrapy ：

conda install -c conda-forge scrapy

Ubuntu 12.04 或更高版本

Scrapy 目前正在使用最新版本的 lxml，twisted 和 pyOpenSSL 进行测试，而且与最新的 Ubuntu 发行版兼容。 但它也支持较早版本的 Ubuntu，如 Ubuntu 12.04，尽管存在潜在的 TLS 链接问题。

不要使用 Ubuntu 提供的 python-scrapy 软件包，它们的版本一般太老了。要在 Ubuntu（或类 Ubuntu）系统上安装 scrapy，您须要安装这些依赖项：

sudo apt-get install python-dev python-pip libxml2-dev libxslt1-dev zlib1g-dev libffi-dev libssl-dev

• lxml 须要 python-dev, zlib1g-dev, libxml2-dev 和 libxslt1-dev
• cryptography 须要 libssl-dev 和 libffi-dev

若是你想在 Python 3 上安装 Scrapy，你还须要 Python 3 开发头：

sudo apt-get install python3 python3-dev

在 virtualenv 中，您可使用 pip 安装Scrapy：

pip install scrapy

注意

在 Debian Wheezy（7.0）及更高版本中安装 Scrapy 一样须要上文提到的非 Python 依赖关系。

Mac OS X

构建 Scrapy 的依赖项须要C编译器和开发头。 在 OS X 上，这一般由苹果的 Xcode 开发工具提供。 要安装 Xcode 命令行工具，打开终端窗口并运行：

xcode-select --install

有一个已知的问题阻止 pip 更新系统包。 必须解决这个问题才能成功安装 Scrapy 及其依赖关系。 如下是一些解决方案

• （推荐）不要使用系统 Python，安装一个不会与系统其他部分冲突的最新版本。 如下是使用 homebrew 包管理器的方法：
  • 按照 http://brew.sh/ 中的说明安装 homebrew
  • 更新您的 PATH 变量以说明在系统软件包以前应该使用 homebrew 软件包（若是您使用 zsh 做为默认 shell，则要将 .bashrc 更改成 .zshrc）：

echo "export PATH=/usr/local/bin:/usr/local/sbin:$PATH" >> ~/.bashrc

• • 从新加载 .bashrc 以确保发生更改：

source ~/.bashrc

• • 安装 Python：

brew install python

• • 最新版本的 Python 绑定了 pip，所以您不须要单独安装它。 若是不是这样，升级 Python：

brew update; brew upgrade python

• （可选）在独立的 Python 环境中安装 Scrapy。

此方法是上述 OS X 问题的解决方法，它是管理依赖关系的良好作法，能够补充第一种方法。

virtualenv 是一个能够用来在 python 中建立虚拟环境的工具。 咱们推荐阅读 http://docs.python-guide.org/en/latest/dev/virtualenvs/ 这样的教程来了解它。

使用任一上述解决方法后，您应该可以安装 Scrapy：

pip install Scrapy