数据分析之去哪儿酒店

以前发了一篇爬取去哪儿自由行的数据后，有一个读者在后台问到我怎么爬取去哪儿酒店的数据。当时简单看了下,以为难度不大。就跟他讲了下思路。由于当时爬取自由行的网站选取的是移动端。为了能让读者学习到更多的知识，咱们今天选取了去哪儿的电脑端来进行爬取。其实爬虫的思路都是同样的，无非就是先获取网页信息，而后再解析。解析以后就提取所要的数据。若是要对数据要进一步的分析的话。还须要对数据进行清洗，建模等一系列操做。今天做者给你们带来的就是去哪儿酒店酒店信息的获取，并进行数据清洗，分析。

1. 准备工做

本篇案例主要涉及到的Python的库有Selenium，pymongo库，以及解析库pyquery。清洗库pandas库和matplotlib库，而且安装好了Chrome浏览器和配置好了ChromeDriver。

2. 页面分析

首先访问去哪儿网址:"https://www.qunar.com/"，而后选择酒店这一栏。咱们能够看到目前的连接为:"http://hotel.qunar.com/"。这个就是咱们要访问的域名。以下图所示。

咱们点击页面的目的地输入城市，而后点击搜索便可出现酒店列表，即咱们能够用Selenium来控制浏览器输入城市名，而后点击。咱们进入到酒店页面。以下图所示。

若是有更多的业务需求，咱们能够选择菜单上的酒店类型,实现思路同样。在此咱们默认为"酒店搜索"这一栏。而且选择按评分来筛选酒店。咱们随机选择一个酒店名，右击打开开发者工具。以下图所示。

咱们通过分析可知每一个酒店的内容是在id为"jxContentPanel"中，而且在其下class为"b_result_box js_list_block"中能够看到每一个酒店的详细信息。以下图所示。

咱们就能够pyquery解析库来解析网页获取咱们所须要的信息了,到此网页的解析已经完成。下面咱们用代码来实现整个抓取的过程。

3. 实战演练

3.1 获取目的地城市列表

这里咱们可使用咱们以前抓取自由行数据时抓取到的目的地城市列表，实现以下：

3.2 获取去哪儿页面详情页

咱们已经有目的地城市列表了，因此咱们在在访问去哪儿网址时，只用输入所得到的城市就能够进行搜索了。而后就能够获取酒店页面了。 而且咱们要得到多个页面的酒店。因此也要实现翻页的方法。实现以下：

3.3解析酒店列表

咱们已经得到了酒店列表页面，接下来用解析库pyquery进行解析，就能够获取咱们想要的数据了。实现以下:

3.4保存到数据库和csv文件

3.5运行代码

3.6结果查看

MongoDB数据库结果:

CSV文件：

3.7数据清洗

利用pandas库和matplotlib库进行数据清洗和简单分析,实现以下:

结果以下 ：

3.8 项目代码

https://github.com/NGUWQ/Python3Spider/tree/master/dataanalysis

4. 结语

此项目主要功能是爬取去哪儿酒店,若是你要爬取去哪儿的其它业务，思路也是同样的。

If it works for you.Please,star.

对爬虫，数据分析，算法感兴趣的朋友们，能够加微信公众号 TWcoding，咱们一块儿玩转Python。