BeautifulSoup3 编码问题总结

关于 BeautifulSoup3 对 gb2312 编码的网页解析的乱码问题，【这篇文章】提出了一个勉强能用的解决方法。即若是中文页面编码是 gb2312，gbk，在 BeautifulSoup 构造器中传入 fromEncoding="gb18030" 参数便可解决乱码问题，即便分析的页面是 utf8 的页面使用 gb18030 也不会出现乱码问题！如：

from urllib2 import urlopen
from BeautifulSoup import BeautifulSoup

page = urllib2.urlopen('http://www.baidu.com');
soup = BeautifulSoup(page,fromEncoding="gb18030")

print soup.originalEncoding

为何网页是 utf8 传入 gb18030 依然可以正常解析呢？

这是因为，BeautifulSoup 的编码检测顺序为：

1. 建立 Soup 对象时传递的 fromEncoding 参数；
2. XML/HTML 文件本身定义的编码；
3. 文件开始几个字节所表示的编码特征，此时能判断的编码只多是如下编码之一：UTF-#，EBCDIC 和 ASCII；
4. 若是你安装了 chardet，BeautifulSoup 就会用 chardet 检测文件编码；
5. UTF-8；
6. Windows-1252。

所以，当传入 fromEncoding="gb18030" 编码参数与 html 文件编码不匹配时，BeautifulSoup 并不会抛出异常，而是按照预约义的编码检测顺序，按照 utf8 来解析，所以也能够勉强获得正确结果！