python读文件出现中文乱码

更新:
一个解释更详细和全面的博文:https://www.cnblogs.com/zhangqigao/p/6496172.html

最近开始处理中文文本,读取文件有时候会出现乱码。缘由:编码和解码方式不同。
因此,解决这个问题的方法就是正确地解码,问题拆解为:一、弄清楚待查看文件的编码方式;二、解码。
 
即:
一、查看文件编码方式:
import chardet
fobj=open(fname,'r')
data=fobj.read()
print chardet.detect(data)['encoding']
二、编码类型转换
python默认使用unicode字符集,默认编码方式utf-8.
str.decode('gbk')    #将gbk编码的字符串转换成unicode编码
str.encode('gbk')    #将unicode编码的字符串转换成gbk编码
 
附录A:
windows文件默认编码方式与地域有关:微软为了适应世界上不一样地区用户的文化背景和生活习惯,在Windows中设计了区域(Locale)设置的功能。每一个Locale表明了某个国家或地区的一组设定,包括字符集,数字、货币、时间和日期的格式等。Windows用一个4字节32位二进制值给Locale编号,记做LCID(Locale ID)。它的高16位表示字符的排序方法,通常为0。在它的低16位中,低10位表明某种语言,高4位指定该语言适用的地区。如中文在中国大陆地区和台湾地区有简体和繁体的区分,它们的低10位相同而高4位不一样。
Linux文件的默认编码方式能够在终端执行locale命令,查看输出结果中 LC_CTYPE 对应的内容。
 
附录B:
1981,中国国家标准总局发布GB2312字符集(16位)。
1993 ,国际标准组织发布 unicode 1.1字符集(unicode字符集有多个编码方式,分别是UTF-8,UTF-16,UTF-32和UTF-7。)。
            中国国家标准总局发布GB13000.1-93字符集(16位)。扩充GB2312字符集=> GBK(guo biao kuo)字符集(16位)。
就包含字符来讲:           GBK = GB2312 +繁体中文+1981年以后简化的简体中文
就包含的中文字符而言:GBK= Unicode 1.1 +  GB13000.1-93