【爬虫】【原创】05 华为官网VMALL手机爬虫

项目地址：copywang/spiders_collection 实现功能 爬取手机界面的所有手机评论列表 存储到MONGODB 步骤 获取首页的手机列表，并获取各个手机标题和详情页的URL 把第1步获取的详情页URL分别打开，并获取产品ID 根据产品ID结合URL，组合出评论页的JSON请求并获取JSON数据 首页的JSON数据中包含最大的评论页数 使用最大评论页数作为循环，获取得到所有页的评论

>>阅读原文<<