Python scrapy使用入门，爬取拉勾网上万条职位信息（下）

继续以前的笔记。上节实现了数据爬取和导出文件。这节学点干的，模拟浏览器请求，对付拉钩的反爬策略，爬取二级页面，获取到具体的职位，薪资等数据。git 咱们上节爬取的是分类的内容，咱们实际浏览网页也是点击分类进入二级页面看职位列表，上节爬取的连接，就是咱们点击的那个连接，咱们已拿到了： github 如今咱们点击Java进入二级页面，假如咱们要获取以下信息： web 使用cookie给爬虫作假装，应付

>>阅读原文<<