教你一招另辟蹊径抓取美团火锅数据

最近有个小伙伴在群里问美团数据怎么获取，并且她只要火锅数据，她在上海，只要求抓上海美团火锅的数据，并且要求也不高，只要100条，想作个简单的分析，相关的字段以下图所示。

乍一看，这个问题还真的是蛮难的，毕竟美团也不是那么好抓，什么验证码，模拟登录等一大堆拂面而来，吓得小伙伴都倒地了。

经过F12查看，抓包，分析URL，找规律，等等操做。

不过白慌，今天小编给你们介绍一个小技巧，另辟蹊径去搞定美团的数据，这里须要用到抓包工具Fiddler。讲道理，以前我开始接触网络爬虫的时候也没有听过这个东东，后来就慢慢知道了，并且它真的蛮实用的，建议你们都能学会用它。这个工具专门用于抓包，并且其安装包也很是小，以下图所示。

接下来，咱们开始进行抓取信息。

一、在Fiddler的左侧找到meituan网站的连接，以下图所示。连接的左边返回的response（响应）的文件类型，能够看到是JSON文件，尔后双击这一行连接。

二、此时在右侧会显示下图的界面，点击黄色区域内的那串英文“Responsebody is encoded. Click to decode.”意思是response是加密的，点击此处进行解码，对返回的网页进行解码。

三、此时会弹出下图所示的界面，在WebView中能够看到返回的数据，与网页中的内容对应一致。

四、不过美团网限制一页最多显示32条火锅信息，以下图所示。

五、若是我想获取100条信息的话，那得先后找4页，才可以知足要求。有没有办法让其一次性多显示一些数据呢？答案是能够的，操做方法以下。

在左侧找到对应的美团网连接，而后点击右键一次选择CopyàJustUrl，以下图所示。

七、将获得的URL放到浏览器中去进行访问，以下图所示。能够看到limit=32，即表明能够获取到32条相关的火锅信息，而且返回的内容和Fiddler抓包工具返回的信息是一致的。

八、此时，咱们直接在浏览器中将limit=32这个参数改成limit=100，也就是说将32更改成100，让其一次性返回100条火锅数据，天助我也，居然能够一次性访问到，以下图所示。就这样，轻轻松松的拿到了一百条数据。

九、接下来，能够将浏览器返回的数据进行Ctrl+A所有选中，放到一个本地文件中去，存为txt格式，在sublime中打开，以下图所示。

十、其实乍一看以为很乱，其实它就是一个JSON文件，剩下的工做就是对这个JSON文件作字符串的提取，写个代码，提取咱们的目标信息，包括店门、星级、评论数、关键词、地址、人均消费等，以下图所示。

十一、运行程序以后，咱们会获得一个txt文件，列与列之间以制表符分开，以下图所示。

十二、在txt文件中看上去非常费劲，将其导入到Excel文件中去，就清晰多了，以下图所示。接下来就能够很方便的对数据作分析什么的了。

1三、至此，抓取美团火锅数据的简易方法就介绍到这里了，但愿小伙伴们均可以学会，之后抓取相似的数据就不用找他人帮你写程序啦~~

1四、关于本文涉及的部分代码，小编已经上传到github了，后台回复【美团火锅】四个字便可获取。

看完本文有收获？请转发分享给更多的人

IT共享之家

入群请在微信后台回复【入群】

想学习更多Python网络爬虫与数据挖掘知识，可前往专业网站：pdcfighting.com/