python 模块 chardet

python 模块 chardet下载及介绍

在处理字符串时，经常会遇到不知道字符串是何种编码，若是不知道字符串的编码就不能将字符串转换成须要的编码。面对多种不一样编码的输入方式，是否会有一种有效的编码方式？chardet是一个很是优秀的编码识别模块。

chardet 是python的第三方库，须要下载和安装。下载的地址有：

1.推荐地址：  http://download.csdn.net/download/aqwd2008/4256178 

2.官方地址： http://pypi.python.org/pypi/chardet

若是采用源代码安装方法，有可能会提示缺乏setuptools这个模块。所以这里咱们采用另一种更为方便的安装方法，不论你选择哪一种安装包，将它解压获得其中的文件夹【chardet】将这个文件夹复制到【python安装根目录\Lib\site-packages】下，确保这个位置能够被python引用到。若是不能被引用到请加入环境变量。

在安装完chardet模块，我就能够使用它了，来看一段示例代码。

import chardet
import urllib

#可根据须要，选择不一样的数据
TestData = urllib.urlopen('http://www.baidu.com/').read()
print chardet.detect(TestData)

运行结果：
{'confidence': 0.99, 'encoding': 'GB2312'}

运行结果表示有99%的几率认为这段代码是GB2312编码方式。

另一个相对高级的应用。

import urllib
from chardet.universaldetector import UniversalDetector
usock = urllib.urlopen('http://www.baidu.com/')
#建立一个检测对象
detector = UniversalDetector()
for line in usock.readlines():
    #分块进行测试，直到达到阈值
    detector.feed(line)
    if detector.done: break
#关闭检测对象
detector.close()
usock.close()
#输出检测结果
print detector.result

运行结果：
{'confidence': 0.99, 'encoding': 'GB2312'}

应用背景，若是要对一个大文件进行编码识别，使用这种高级的方法，能够只读一部，去判别编码方式从而提升检测速度。

来自：http://blog.csdn.net/aqwd2008/article/details/7506007