centos7下python3安装且使用scrapy

1.环境前提条件:安装而且配置好python3,配置好pip3,sqlite3能够使用.

能够查看centos7安装python3:http://www.javashuo.com/article/p-ebgrpsob-hz.html

2.使用pip3安装scrapy

pip3 install scrapy

3.配置scrapy全局能够访问,删除掉已经有的scrapy(若是有)

rm -rf /usr/bin/scrapy

ln /usr/local/python3/bin/scrapy /usr/bin/scrapy

4.建立一个scrapy工程,测试目录:/data/www/

cd /data/www/

scrapy startproject quote

5.建立一个spider

cd /data/www/quote

scrapy genspider quotes quotes.toscrape.com

6.定义item

cd /data/www/quote/quote

vim items.py

保存退出!

7.编写spider

cd /data/www/quote/quote/spiders

vim quotes.py

保存退出!

7.运行scrapy

cd /data/www/quote

scrapy crawl quotes -o /data/www/quote/quotes.json

8.到此初步使用完毕!