Python2.7UTF-8致使中文乱码问题

Python2.7UTF-8致使中文乱码问题解决办法

 

file = open('data.txt','r')

lines = file.readlines()

for line in lines[0:1]:
    print line,
    print line.split()

运行后

0.0200197   1.97691e-005

['0\x00.\x000\x002\x000\x000\x001\x009\x007\x00', '\x001\x00.\x009\x007\x006\x009\x00

这是由于在UTF-16，每一个字符占用两个字节。*若是你的字符都是ASCII码，这意味着UTF-16编码看起来像编码一个额外的“\\设备后，每一个字符的ASCII码。
要解决这个问题，只需解码数据：

print line.decode('utf-16-le').split()

 

或者用IO或编解码器模块在文件级执行相同的操做：

file = io.open('data.txt','r', encoding='utf-16-le')

这是一种简单化：每一个BMP字符占用两个字节；每一个非BMP字符变成代理项对，每两个代理人以两字节。

参考：https://stackoverflow.com/questions/19328874/python-read-text-file-with-weird-utf-16-format