python 爬虫 scrapy 爬取腾讯招聘

目标网站 目标数据 首先新建一个爬虫 初步提取职位名称和对应的url 打印结果 发送下一页的url，发送请求，请求成功后继续调用pase函数解析 发送详情页请求 解析详情页 打印结果： 接下来重写一个管道，让数据保存到mongodb setting中配置管道 运行爬虫 查看数据库 数据已存入 继续让爬虫跑完 一共3067条数据 一下是完整代码： tencent2.py 爬虫文件 # -*- cod

>>阅读原文<<