Python爬虫入门教程 64-100 反爬教科书级别的网站-汽车之家，字体反爬之二

时间  2019-11-06
标签 python 爬虫 入门 教程 教科书 级别 网站 汽车 之家 字体 之二 栏目 Python 繁體版
原文   原文链接

说说这个网站

汽车之家，反爬神通常的存在，字体反爬的鼻祖网站，这个网站的开发团队，必定擅长前端吧，2019年4月19日开始写这篇博客，不保证这个代码能够存活到月底，但愿后来爬虫coder，继续和汽车之间对抗。javascript

CSDN上关于汽车之家的反爬文章千千万万了，可是爬虫就是这点有意思，这一刻写完，下一刻还能不能用就不知道了，因此能够一直不断有人写下去。但愿今天的博客能帮你学会一个反爬技巧。css

今天要爬去的网页

car.autohome.com.cn/config/seri… 咱们要作的就是爬取汽车参数配置html

具体的数据以下 前端

在这里插入图片描述
查看页面源代码发现，一个好玩的事情，源代码中使用了大量的CSS3的语法 下图，我标注的部分就是关键的一些数据了，大概在600行以后。
在这里插入图片描述

反爬措施展现

源文件数据java

刹车/<span class='hs_kw86_baikeIl'></span>安全系统
复制代码

页面显示数据 python

在这里插入图片描述
一些关键数据被处理过了。

爬取关键信息

咱们要把源代码中的关键信息先获取到，即便他数据是存在反爬的。获取数据是很是简单的。经过request模块便可程序员

def get_html():
    url = "https://car.autohome.com.cn/config/series/59.html#pvareaid=3454437"
    headers = {
        "User-agent": "你的浏览器UA"
    }
    with requests.get(url=url, headers=headers, timeout=3) as res:
        html = res.content.decode("utf-8")
    
    return html
复制代码

找关键因素

在html页面中找到关键点：web

  • var config
  • var levelId
  • var keyLink
  • var bag
  • var color
  • var innerColor
  • var option

这些内容你找到以后，你下手就用重点了，他们是什么？数据啊，经过简单的正则表达式就能够获取到了正则表达式

def get_detail(html):
    
    config = re.search("var config = (.*?)};", html, re.S)  
    option = re.search("var option = (.*?)};", html, re.S)
    print(config,option)
复制代码

输出结果浏览器

>python e:/python/demo.py
<re.Match object; span=(167291, 233943), match='var config = {"message":"<span class=\'hs_kw50_co>

>python e:/python/demo.py
<re.Match object; span=(167291, 233943), match='var config = {"message":"<span class=\'hs_kw50_co> <re.Match object; span=(233952, 442342), match='var option = {"message":"<span class=\'hs_kw16_op>

复制代码

处理汽车参数

经过正则表达式的search方法，匹配数据，而后调用group(0) 便可获得相关的数据

def get_detail(html):
    
    config = re.search("var config = (.*?)};", html, re.S)  
    option = re.search("var option = (.*?)};", html, re.S)
    
    # 处理汽车参数
    car_info = "" 
    if config and option :
        car_info = car_info + config.group(0) + option.group(0)

    print(car_info)
复制代码

拿到数据以后，没有完，这是混淆以后的数据，须要解析回去，继续关注网页源代码，发现一段奇怪的JS。这段JS先不用管，留点印象便可~

在这里插入图片描述

关键字破解

在这里插入图片描述
注意到 

<span class="hs_kw28_configfH"></span>
复制代码

hs_kw数字_configfH是一个span的class

我选中span以后的::before

在这里插入图片描述
对应的css为
在这里插入图片描述
发现 实测两个字出现了，对应的class请记住 

.hs_kw28_configfH::before
复制代码

全局搜索一下

在这里插入图片描述
双击找到来源

在这里插入图片描述
肯定数据就在html源码当中。

格式化html源码，在内部搜索hs_kw，找到关键函数

在这里插入图片描述 

function $GetClassName$($index$) {
                    return '.hs_kw' + $index$ + '_baikeCt';
                }
复制代码

这段JS的来源就是咱们刚才保留的那个JS代码段，复制全部的JS源码，到source里面新建一个snippet，而后咱们运行一下。

在这里插入图片描述
在里面代码最后添加一个断点， ctrl+enter运行
在这里插入图片描述
运行到断点，在右侧就能看到一些参数出现

在这里插入图片描述

  • ruleDict:
  • rulePosList
    在这里插入图片描述
    经过参数去查找，核心的替换方法

在这里插入图片描述

接下来，咱们进行替换操做，这部流程须要用到selenium进行替换

核心代码以下，主要的注释，我写在了代码内部，但愿能帮助你看懂

def write_html(js_list,car_info):
    # 运行JS的DOM -- 这部破解是最麻烦的，很是耗时间~参考了互联网上的大神代码
    DOM = ("var rules = '2';"
       "var document = {};"
       "function getRules(){return rules}"
       "document.createElement = function() {"
       " return {"
       " sheet: {"
       " insertRule: function(rule, i) {"
       " if (rules.length == 0) {"
       " rules = rule;"
       " } else {"
       " rules = rules + '#' + rule;"
       " }"
       " }"
       " }"
       " }"
       "};"
       "document.querySelectorAll = function() {"
       " return {};"
       "};"
       "document.head = {};"
       "document.head.appendChild = function() {};"

       "var window = {};"
       "window.decodeURIComponent = decodeURIComponent;")

    # 把JS文件写入到文件中去
    for item in js_list:
        DOM = DOM + item
    html_type = "<html><meta http-equiv='Content-Type' content='text/html; charset=utf-8' /><head></head><body> <script type='text/javascript'>"
    # 拼接成一个能够运行的网页
    js = html_type + DOM + " document.write(rules)</script></body></html>"    
    # 再次运行的时候，请把文件删除，不然没法建立同名文件，或者自行加验证便可
    with open("./demo.html", "w", encoding="utf-8") as f:
        f.write(js)

    # 经过selenium将数据读取出来，进行替换
    driver = webdriver.PhantomJS()
    driver.get("./demo.html")
    # 读取body部分
    text = driver.find_element_by_tag_name('body').text   
    # 匹配车辆参数中全部的span标签
    span_list = re.findall("<span(.*?)></span>", car_info)  # car_info 是我上面拼接的字符串

    # 按照span标签与text中的关键字进行替换
    for span in span_list:
        # 这个地方匹配的是class的名称 例如 <span class='hs_kw7_optionZl'></span> 匹配 hs_kw7_optionZl 出来
        info = re.search("'(.*?)'", span)
        if info:
            class_info = str(info.group(1)) + "::before { content:(.*?)}"  # 拼接为 hs_kw7_optionZl::before { content:(.*?)} 
            content = re.search(class_info, text).group(1)   # 匹配文字内容，返回结果为 "实测""油耗""质保"
                                    
            car_info = car_info.replace(str("<span class='" + info.group(1) + "'></span>"),
                                        re.search("\"(.*?)\"", content).group(1))
    print(car_info)
复制代码

运行结果

在这里插入图片描述
对比一下原来数据，发现问题不大，完成任务。
在这里插入图片描述

入库操做

剩下的步骤就是数据持久化了，数据拿到以后，其余的都是比较简单的，但愿你能够直接搞定。

小扩展：格式化JS

碰到这种JS，直接找到格式化工具处理它

tool.oschina.net/codeformat/…

格式完成以后，代码具有必定的阅读能力

思路汇总

汽车之家用CSS隐藏了部分真实的字体，在解决的过程当中，须要首先针对class去查找，当找到JS位置的时候，必需要搞定它的加密规则，顺着规则以后，只须要完成基本的key、value替换就能够拿到真实的数据了。

关注公众帐号：非本科程序员

关注以后，发送【汽车】获取源码

在这里插入图片描述
相关文章
相关标签/搜索
每日一句
    每一个你不满意的现在，都有一个你没有努力的曾经。
本站公众号
   欢迎关注本站公众号,获取更多信息
联系我们 最近搜索 最新文章 沪ICP备13005482号-10 MyBatis教程 SQL 教程 MySQL教程 Java 教程 Thymeleaf 教程 Hibernate教程 Spring教程 Redis教程