PYTHON HTML.PARSER库学习小结--转载

前段时间，一朋友让我作个小脚本，抓一下某C2C商城上竞争对手的销售/价格数据，好让他能够实时调整本身的营销策略。本身以前也有过写爬虫抓某宝数据的经历，实现的问题不大，因而就答应了。初步想法是利用pyhton中的urllib.request和re两个lib（本文示例用的是Pyhton 3.4 ，2.x的请自行切换），外加上其余的统计分析功能的话，最多两个晚上（白天要工做）能够搞定。实际上作的过程当中，遇到了两个主要困难：

（1）电商网站对于交易数据的保护很好。小爬虫动不动就会被ban掉或者采用一些其余的保护措施使得其没法正常采集所需的数据，须要添加额外的代码处理各类虐心的状况；

（2）正则表达式实在是难写，并且很复杂和很难维护。因而本身也思考有没有其余的解决方案——本文就是对其中一解决方案的初步介绍。

 

一开始想到的固然是著名的第三方库 Beautifulsoup（做为一个广东男人，我习惯把它称为”靓汤“）。这个库很强大，但正由于它强大，须要一点学习时间而我须要快点上手，因而只好往后再学（到时再写一篇Beautifulsoup学习总结）。权衡之后，最后目光转向了Python Standard Library中的html.parser。

 

html.parser是一个很是简单和实用的库，它的核心是HTMLParser类。从源码来看，它内部封装了一系列regular expression。工做的流程是：当你feed给它一个相似HTML格式的字符串时，它会调用goahead方法向前迭代各个标签，并调用对应的parse_xxxx方法提取start_tag, tag, attrs data comment和end_tag等等标签信息和数据，而后调用对应的方法对这些抽取出来的内容进行处理。整个HTMLParser的大体结构以下图所示：

 

 

 

能够发现，处理开始标签（handle_starttag）、结束标签(handle_endtag）和处理数据（handle_data）等处理函数在HTMLParser里是没有实现的（pass），这须要咱们继承HTMLParser这个类的并覆盖这些方法。详细能够参阅python文档，这里重点介绍几个经常使用的方法：

 

1. feed(data)：主要用于接受带html标签的str，当调用这个方法时并提供相应的data时，整个实例（instance）开始执行，结束执行close()。
2. handle_starttag(tag, attrs): 这个方法接收Parse_starttag返回的tag和attrs，并进行处理，处理方式一般由使用者进行覆盖，自己为空。例如，链接的start tag是<a>，那么对应的参数tag＝’a’（小写)。attrs是start tag <>中的属性，以元组形式（name, value）返回（全部这些内容都是小写）。例如，对于<A HREF="http://www.baidu.com“>，那么内部调用形式为：handle_starttag（’a’,[(‘href’,’http://www.baidu.com)]）.
3. handle_endtag(tag)：跟上述同样，只是处理的是结束标签，也就是以</开头的标签。
4. handle_data(data)：处理的是网页的数据，也就是开始标签和结束标签之间的内容。例如：<script>...</script>的省略号内容
5. reset()：将实例重置，包括做为参数输入的数据进行清空。

 

举个例子吧。例如咱们有如下一堆带HTML标签的数据，

---

<h3 class=" tb-main-title" data-title=" 【金冠现货/全色/顶配版】Xiaomi/小米 小米note移动联通4G手机">

     【金冠现货/全色/顶配版】Xiaomi/小米 小米note移动联通4G手机
   </h3>
   <p class=" tb-subtitle">
 【购机即送布丁套+高清贴膜+线控耳机+剪卡器+电影支架等等,套餐更多豪礼更优惠】    【购机即送布丁套+高清贴膜+线控耳机+剪卡器+电影支架等等,套餐更多豪礼更优惠】    【金冠信誉+顺丰包邮+全国联保---多重保障】
 </p>
   <div id=" J_TEditItem" class=" tb-editor-menu"></div>

 </div>

<h3 class=" tb-main-title" data-title=" 【现货加强/标准】MIUI/小米 红米手机2红米2移动联通电信4G双卡">
     【现货加强/标准】MIUI/小米 红米手机2红米2移动联通电信4G双卡
   </h3>
   <p class=" tb-subtitle">
 [红米手机2代颜色版本较多,请亲们阅读购买说明按需选购---感谢光临] 【金皇冠信誉小米手机集市销量第一】【购买套餐送高清钢化膜+线控通话耳机+ 剪卡器(含还原卡托)+ 防辐射贴+专用高清贴膜+ 擦机布+ 耳机绕线器+手机电影支架+ 一年延保服务+ 默认享受顺丰包邮 !
 </p>
   <div id=" J_TEditItem" class=" tb-editor-menu"></div>

 </div>

---

很明显，这里面包含了两台手机，咱们的目标是提取两个手机的名字出来。

 

因为当咱们feed这个html到HTMLParser中后，他们全部的标签都迭代，若是须要它只提取咱们须要的数据时，咱们须要设置当handle_starttag遇到那个标签和属性时，才调用handle_data并print出咱们的结果，这个时候咱们可使用一个flg做为断定，代码以下：

 

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23

#定义一个MyParser继承自HTMLParser class  MyParser(HTMLParser):      re = [] #放置结果      flg = 0 #标志，用以标记是否找到咱们须要的标签      def  handle_starttag( self , tag, attrs):          if  tag = = 'h3' : #目标标签              for  attr  in  attrs:                  if  attr[ 0 ] = = 'class'  and  attr[ 1 ] = = 'tb-main-title' : #目标标签具备的属性                      self .flg = 1 #符合条件则将标志设置为1                      break          else :              pass         def  handle_data( self , data):          if  self .flg = = 1 :              self .re.append(data.strip()) #若是标志为咱们须要的标志，则将数据添加到列表中              self .flg = 0 #重置标志，进行下次迭代          else :              pass     my = MyParser() my.feed(html)

 

运行结果以下，达到了咱们的预期：

---

---

 

上面只是HTMLParser一个很是简单的应用，但却能够反应了HTMLParser这个类的一些特质。有了这些基本的认识后，咱们就能够将相关功能进行扩展，从而造成一个标准的爬虫了。下次，咱们将利用相关的知识，构建一个基本的网络爬虫，敬请期待哦。

 

--------------------------------------------------

本文为做者原创文章，转摘请注明出处：@Datazen