去哪儿网机票爬虫

　　最近公司有一个新的需求，就是须要爬某一天飞机票的数据，先让我爬携程，去哪儿网的数据，携程的话，仍是比较简单的，可是在去哪儿网就遇到问题了，刚开始的时候我是用requests模块来爬去哪儿网，在请求的头信息，有一些随机值，每次请求都不同，即便你使用上一次请求的随机值，仍是会给你返回假数据。我本身给它生成一些随机字符串去请求，但依然返回假数据。最后没有办法，我只能使用selenium大法了。

      在使用selenium的过程当中，去哪儿网还作了一些反selenum爬虫：

　　1. 用js识别了selenium

　　当我把地点，时间都选好了，点击加载，进入到各个航班信息页面，其余部分都显示了，核心数据，一直加载中，我电脑都死机了好几回。

　　这种反爬第一次遇到，只能百度了，最后在这位大神找到解决办法，连接：https://www.cnblogs.com/xieqiankun/p/hide-webdriver.html

　　解决：

　　在option加参数, 试浏览器中止“开发者模式运行”;我使用的chrome浏览器，因此：

　　option = webdriver.ChromeOptions()

　option.add_experimental_option('excludeSwitches', ['enable-automation'])

　　而后数据就成功显示出来，

　　　　

　　2. 在飞机票价格上，使用css,把价格打乱，让你爬不到真正的价格

在我觉得即将成功的时候，发现一个新的问题了，使用xpath匹配的数据，有不少打乱的数据，并且还有一些干扰数据在里面：

<em class="rel">
    <b style="width:48px;left:-48px">
        <i style=width: 16px;"">6</i>
        <i style=width: 16px;"">5</i>
        <i style=width: 16px;"">6</i>
    </b>
    <b style="width: 16px;left:-48px">7</b>
</em>

真正的价格：756

规则：

主要看css宽度

如上面：

　　总宽度48px

　　展现的值b标签里面的i标签的text值，除了一个b标签是用来展现的，其余b标签的值替换i标签中text值即为真正的值。

　　每一个b标签里面style中left值表示位置，如left:-48px, 替换第一个i, 若是left:-16px, 就替换第3个i。

　　思路就是这样的了，代码我放到github上面的，连接:https://github.com/bobos008/Airticket