服务器上部署scrapy爬虫项目

爬爬们，若是你已经开始部署项目了，那么你确定也已经写好了完整的爬虫项目，恭喜你，你很优秀！
**今天忙了小半天的服务器部署，跟你们分享一些心得～

1. 首先咱们要有一台服务器，很差意思，这是废话，略过。。。。。

2. 安装python

   # 下载安装包，好习惯能够本身建立文件夹/home/download/
      $ wget https://www.python.org/ftp/python/3.4.1/Python-3.4.1.tgz
      # 解压
      $ tar zxvf Python-3.4.1.tgz /us
      3进入解压后的目录，执行安装配置
      $ ./configure
      #或指定安装目录
      $ ./configure --prefix=/opt/python3
      $ make
      $ make install
      #安装后创建一个连接，这样咱们能够用python3直接运行程序，和python2区别开来。
      $ ln -s /opt/python3/bin/python3 /usr/bin/python3

注意：1.在安装以前最好要安装各类依赖包

yum -y install zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel readline-devel tk-devel gdbm-devel db4-devel libpcap-devel xz-devel

若已经安装python3并改软连接了，请修改/usr/bin/yum文件中的第一行python后加2.？版本号，还有一个文件须要修改叫什么我忘记了，同理

注意：2.pip3安装以前要创建pip3软链接

$ ln -s /opt/python3/bin/pip3 /usr/bin/pip3

3.安装scrapy

在这里咱们先安装scrapyd避免手动安装scrapy须要的插件
pip3 install scrapyd
pip3 install scrapy

注意：若没有在第二步安装依赖环境 sqlite-devel，那么在启动scrapyd的时候会报错。
安装各类依赖包最好建立虚拟环境，

#安装
pip3 install virtualenv
#创建软链接
$ ln -s /opt/python3/bin/virtualenv /usr/bin/virtualenv
#进入项目目录建立虚拟环境
$ virtualenv venv
# 在venv/bin目录下
source activate