使用scrapy-redis分布式爬虫去爬取指定信息

作者：黎智煊，叩丁狼教育高级讲师。原创文章，转载请注明出处。 目标:在智联招聘上面爬取指定职位信息并且保存到redis数据库当中. 工具:python3.6,scrpay,scrapy-redis,redis 首先配置好本地python环境,具体是python2或者python3都可以. 使用pip或者anaconda安装好scrapy和scrapy-redis模块. 本文就使用scrapy-re

>>阅读原文<<