用scrapy数据抓取实践

本文来自网易云社区 作者：沈高峰 数据分析中需要用到的不少数据都是需要进行抓取的，并且需要对抓取的数据进行解析之后存入数据库。 scrapy是一个强大的爬虫框架，本文简单介绍下使用scrapy进行垂直抓取的实践。 scrapy整体构架如下图所示，进行简单网页抓取时，仅仅需要填充Spider和Item Pipeline部分代码就可以了，其他内容，scrapy都会自动处理好。 安装完scrapy之后，

>>阅读原文<<