scrapy框架爬取招聘网的职位信息

快要毕业了，最近在招聘网上找找工作，还是觉得爬取所有数据看着方便，所以博主爬取了51job的所有GIS相关的职位。用的是scrapy框架，数据保存到Mysql中，方便查看一点。 首先创建项目51Job,确定下爬取的url及页码，即可开始用xpath了 用shell的话调试scrapy会方便很多 然后开始进行xpath调试 最后将数据保存到mysql数据库中 结果图在navicat可视化工具中查看

>>阅读原文<<