HtmlAgilityPack中经过sibling才能获得对应的InnerText和form，option等tag的子节点

【背景】

以前使用HtmlAgilityPack期间，遇到了2个bug：

1. InnerText没有包含对应字符串（可是用NextSibling.InnerText却能够获得）

对于html：

?

1	<option value="search-alias=instant-video">Amazon Instant Video</option>

用以下的代码：

?

1 2 3 4

//<option value="search-alias=instant-video">Amazon Instant Video</option> string searchValue = singleOptionNode.Attributes["value"].Value; //search-alias=instant-video //instant-video string generalCategory = singleOptionNode.InnerText; //CAN NOT get: Amazon Instant Video

是不工做的。

后来通过调试，改成：

?

1 2 3 4

//<option value="search-alias=instant-video">Amazon Instant Video</option> string searchValue = singleOptionNode.Attributes["value"].Value; //search-alias=instant-video //instant-video string generalCategory = singleOptionNode.NextSibling.InnerText; //can get: Amazon Instant Video

倒是能够的。

非常尼玛的诡异。

很明显是一个bug。

 

和：

2.丢失了form节点的input子节点

访问：

http://www.amazon.com/gp/offer-listing/B0083PWAPW/ref=dp_olp_all_mbc?ie=UTF8&condition=all

获得的html中，对应的部分是：

?

1 2 3 4 5 6 7 8 9 10 11 12 13

<form method= "POST"  action= "/gp/item-dispatch/ref=olp_atc_fm_1"  >      <input type= "hidden"  name= "session-id"  value= "182-0726239-4848949" >      <input type= "hidden"  name= "qid"  value= "" >      <input type= "hidden"  name= "sr"  value= "" >      <input id= "signInToHUC"  type= "hidden"  value= "0"  name= "signInToHUC" >      <input type= "hidden"  name= "metric-asin.B0083PWAPW"  value= "1" >      <input type= "hidden"  name= "registryItemID.1"  value= "" >      <input type= "hidden"  name= "registryID.1"  value= "" >      <input type= "hidden"  name= "itemCount"  value= "1" >      <input type= "hidden"  name= "offeringID.1" value= "%2F%2FeHHmpktM3oPoQj%2FOWhDI%2FpHyvwwFCwEfNIBEgFcfAHzKHAzVK%2BZfhkmBFO%2BPbow9JfdOmrE6eKME4ydhLTTK1Dgaf8O3N7SyOR%2F136TvVh0lfJypEt4Q%3D%3D" >      <input type= "hidden"  name= "isAddon"  value= "0" >      <input type= "image"  src= "http://g-ecx.images-amazon.com/images/G/01/x-locale/nav2/images/add-to-cart-md-p._V192250398_.gif"  align= "absmiddle" alt= "Add to cart"  border= "0"  height= "21"  name= "submit.addToCart"  width= "112" /> </form>

能够经过：

?

1 2	htmlDoc = crl.htmlToHtmlDoc(respHtml); HtmlNodeCollection postItemNodeList = htmlDoc.DocumentNode.SelectNodes( "//form[starts-with(@action, '/gp/item-dispatch/ref=') and @method='POST']" );

搜索到form节点，可是结果其下，再去搜input节点：

?

1	HtmlNodeCollection inputTypeNodeList = postItemNode.SelectNodes( ".//input[@type='hidden' and @name and @value]" );

居然获得的inputTypeNodeList是null：

即form下面，没有找到任何的child，即，全部的input节点，都丢失了！

再回去查看postItemNode，结果其下就是没有child的：

 

因此，应该是对应的HtmlAgilityPack的bug。

 

【折腾过程】

1. 后来看到：

No child nodes for FORM object

中提到了，说是：

In Html specification form tag can overlap, so Htmlagilitypack handle this node a little different.   。。。   After adding this call all form elements are added as children.

而后就去看看，结果果真是从child变成了sibling了，并且此处仍是很变态的，NextSibling的NextSibling才是咱们要的input节点：

因此，此处，看来只能是说动的，相似于上面那个问题同样的，写成NextSibling的NextSibling

不过，真是这样写的话，那也够变态的。。。。

2.而后也看到别人也遇到一样问题：

Problem parsing children of a node with HtmlAgilityPack

并且某人也是放弃了HtmlAgilityPack而转到了SGMLReader了。

不过，另外有人说，不是bug，而是能够配置的。

其相关的讨论见：

http://htmlagilitypack.codeplex.com/workitem/21782

再参考：

HtmlAgilityPack — Does <form> close itself for some reason?

去，在将html转为htmlDoc以前，添加：

?

1	HtmlNode.ElementsFlags.Remove( "form" );

变为：

?

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20

//http://www.crifan.com/htmlagilitypack_html_tag_form_option_no_child_via_sibling_get_innertext/ HtmlNode.ElementsFlags.Remove( "form" );   htmlDoc = crl.htmlToHtmlDoc(respHtml); HtmlNodeCollection postItemNodeList = htmlDoc.DocumentNode.SelectNodes( "//form[starts-with(@action, '/gp/item-dispatch/ref=') and @method='POST']" ); if  (postItemNodeList ==  null ) {      //something error } else {      foreach  (HtmlNode postItemNode  in  postItemNodeList)      {          //http://www.amazon.com/gp/item-dispatch/ref=olp_atc_used_1          string  itemDispatchUrl = postItemNode.Attributes[ "action" ].Value;  ///gp/item-dispatch/ref=olp_atc_used_1          itemDispatchUrl = constAmazonDomainUrl + itemDispatchUrl; //http://www.amazon.com/gp/item-dispatch/ref=olp_atc_used_1            Dictionary< string ,  string > postDict =  new  Dictionary< string ,  string >();            HtmlNodeCollection inputTypeNodeList = postItemNode.SelectNodes( ".//input[@type='hidden' and @name and @value]" );

而后获得的inputTypeNodeList，的确不是null了，也有了child了：

 

【总结】

以前还夸奖HtmlAgilityPack好用呢，结果还没用多久，就出现这么多的bug。看来真的无法继续使用了。

每次都要很当心，不知道啥时候就会出错，真郁闷。。。

即便不是bug，其自己把form下面的节点，都弄成其sibling这个策略，仍是很变态的。至少让更多人的，都容易误解。

---

【后记】

后来的后来，通过参考别人的解释：

<option> have no child, why?

发现，

其实上述两个，所谓的bug，就是同一个问题：

对于HtmlAgilityPack，实际上，对于option，form等tag，其默认的处理的结果是：其下的子节点，会变成sibling

因此，上面的：

对于option须要经过NextSibling才能得到对应的InnerText；

对于form子节点为空，也是须要经过NextSibling（的NextSibling）才能得到对应的input子节点；

其本质都是：

HtmlAgilityPack是针对HTML 3.2的规范去实现的，而HTML 3.2就是这样规定的。

其不是bug，而是feature

可是很明显，是属于让人蛋疼的feature。

解决办法有两种：

1.改源码

把HtmlNode.cs中的下面这行注释掉：

?

1	ElementsFlags.Add( "form" , HtmlElementFlag.CanOverlap | HtmlElementFlag.Empty);

2.不改源码

在HtmlDocument类型的变量执行LoadHtml以前，加上：

?

1	HtmlNode.ElementsFlags.Remove( "tagName" );

即，对于我以前的crifanlib.cs中的：

?

1 2 3 4 5 6 7 8

public  HtmlAgilityPack.HtmlDocument htmlToHtmlDoc( string  html) {      HtmlAgilityPack.HtmlDocument htmlDoc =  new HtmlAgilityPack.HtmlDocument();        htmlDoc.LoadHtml(html);        return  htmlDoc; }

换成：

?

1 2 3 4 5 6 7 8 9 10 11 12 13

public  HtmlAgilityPack.HtmlDocument htmlToHtmlDoc( string  html) {      HtmlAgilityPack.HtmlDocument htmlDoc =  new  HtmlAgilityPack.HtmlDocument();        //http://www.crifan.com/htmlagilitypack_html_tag_form_option_no_child_via_sibling_get_innertext/      //make some html tag: form/option, has child      HtmlNode.ElementsFlags.Remove( "form" );      HtmlNode.ElementsFlags.Remove( "option" );        htmlDoc.LoadHtml(html);        return  htmlDoc; }

便可。

如此，后续解析html获得的form，option等tag，其child就是咱们所但愿的内容了。

 

另外：

1.对因而否还有其余特殊的html的tag，也是默认被处理为子节点变为sibling的，就不知道了。

2.等有空再去深究背后的那个HTML 3.2规范是怎么定义的。