Scrapy-redis 分布式爬虫-成都安居客二手房数据爬取

Joint-spider 项目地址:GitHubcss Scrapy-Redis 架构： html 成都贝壳，安居客房源信息爬虫python 基于 python 分布式房源数据爬取系统,为房价数据挖掘及可视化提供数据支持。采用 Scrapy 框架来开发，使用 Xpath 技术对下载的网页进行提取解析，运用 Redis 数据库作分布式，使用Mysql数据库作数据存储，同时保存与CSV文件中.mysq

>>阅读原文<<