美团爬虫-商铺信息抓取2

我们接着上一篇继续分析，数据来源确认好了，参数构造分析后，创建scrapy项目 这里采用手机浏览器中api的构造方式抓取 接着上一篇讲的，需要细化区域，那么就需要拿到该区域的areaId 在请求中我们并没有看到有额外的XHR负责区域id数据的传输，那么就说明该数据在源码中，我们通过定位查找，可以发现地区id值是通过js进行选取的 将areaId以字典areaList的形式存储，并重新构造start

>>阅读原文<<