基于Scrapy的数据分析可视系统 之 数据采集

本系统的这部分内容好像没什么好写的，就不从Scrapy基础开始说了，挑一些重点部分和容易出错的地方 来写一下。其中前程无忧和智联招聘用的是scrapy，拉勾网因为反爬太强了，用的是selenium，只能降低采集效率，用的是用selenium模拟登录，并且还得手动输入验证码（九宫格的验证码难以识别，找了好几个平台联系客服都说无法识别这种，就没怎么继续找了，虽然手动比较low） 1，对与用Scrapy

>>阅读原文<<