Learn Beautiful Soup(6) —— BeautifulSoup中对于编码的支持

全部的网页都有一个本身的编码。UTF-8是目前网站的标准编码。因此，当爬取这些网页时，爬虫程序必需要能理解这些网页的编码。不然，颇有可能你在网页上看到的是正确的字符，而爬取得到的结果倒是乱码。而BeautifulSoup则能熟练的处理这些编码。

BeautifulSoup中的编码

通常在一个网页中，能够从charset这个属性中看到网页的编码：

<meta http-equiv="Content-Type" content="text/html;charset=UTF-8">

BeautifulSoup使用UnicodeDammit库来自动地检测文档的编码。BeautifulSoup建立soup对象时会自动地将内容转换为Unicode编码。

了解HTML文档的原始编码，soup.original_encoding会告诉咱们文档的原始编码是什么。

指定HTML文档的编码，UnicodeDammit库会搜索整个文档而后来检测文档采起何种编码，这样一来浪费时间并且UnicodeDammit也有可能检测错误。若是知道文档编码是什么，那么能够在最初建立BeautifulSoup对象的时候就用from_encoding来指定文档的编码。

soup = BeautifulSoup(html_markup,"lxml",from_encoding="utf-8")

编码输出

BeautifulSoup中也有输出文本的方法。好比prettify()，将只会以UTF-8的编码方式输出。即便文档是其余类型的编码也照样UTF-8编码输出。

可是prettify()也能够指定其余编码格式输出：

print(soup.prettify("ISO8859-2")

咱们一样能够用encode()来编码输出。encode()默认也是以UTF8编码。不过它一样能够指定编码方式输出。