去哪儿网机票爬虫

  最近公司有一个新的需求,就是需要爬某一天飞机票的数据,先让我爬携程,去哪儿网的数据,携程的话,还是比较简单的,但是在去哪儿网就遇到问题了,刚开始的时候我是用requests模块来爬去哪儿网,在请求的头信息,有一些随机值,每次请求都不一样,即使你使用上一次请求的随机值,将会给你返回假数据。我自己给它生成一些随机字符串去请求,但依然返回假数据。最后没有办法,我只能使用selenium大法了。

      在使用selenium的过程中,去哪儿网还是做了反selenum爬虫:

  1. 用js识别了selenium

  当我把地点,时间都选好了,点击加载,进入到各个航班信息页面,其他部分都显示了,核心数据,一直加载中,我电脑都死机了好几次。

  这种反爬第一次遇到,只能百度了,最后在这位大神找到解决办法:

https://www.cnblogs.com/xieqiankun/p/hide-webdriver.html

  解决:

  在option加参数, 停止“停止开发者模式运行”;我使用的chrome浏览器,所以:

option.add_experimental_option('excludeSwitches', ['enable-automation'])

  然后数据就成功显示出来,

    

  2. 在飞机票价格上,使用css,把价格打乱,让你爬不到真正的价格

在我以为即将成功的时候,发现一个新的问题了,使用xpath匹配的数据,有很多打乱的数据,而且还有一些干扰数据在里面:

<em class="rel">
    <b style="width:48px;left:-48px">
        <i style=width: 16px;"">6</i>
        <i style=width: 16px;"">5</i>
        <i style=width: 16px;"">6</i>
    </b>
    <b style="width: 16px;left:-48px">7</b>
</em>

真正的价格:756

规则:

主要看css宽度

如上面:

  总宽度48px

  展示的值b标签里面的i标签的text值,除了一个b标签是用来展示的,其他b标签的值替换i标签中text值即为真正的值。

  每个b标签里面style中left值表示位置,如left:-48px, 替换第一个i, 如果left:-16px, 就替换第3个i。

  思路就是这样的了,代码我放到github上面的,链接:https://github.com/bobos008/Airticket

猜你喜欢

转载自www.cnblogs.com/xianqingsong/p/10520515.html