文件读取错误UnicodeDecodeError: 'utf-8' codec can't decode byte 0x92 in position 884: inval...

参考：

https://segmentfault.com/q/1010000004268196/a-1020000004269556

ubuntu下Python3使用open('filename', 'r').read()读取 .txt 文件时抛出异常:
UnicodeDecodeError: 'utf-8' codec can't decode byte 0x92 in position 66: invalid start byte
当相同语句在Python2下运行时却正常，请问问题出在哪里啊？

0x92 即 10010010，UTF8 中编码一个字符的第一个字节（start byte）只多是 0xxxxxxx、110xxxxx、1110xxx、11110xxx……然后面的字节只多是 10xxxxxx。也就是说 0x92 只能做为后面的字节，却出如今了第一个字节的位置。

出现这种问题绝大部分状况是由于文件不是 UTF8 编码的（例如，多是 GBK 编码的），而系统默认采用 UTF8 解码。解决方法是改成对应的解码方式。

极少数状况是由于文件损坏了或者和一部分非 UTF8 编码混在一块儿，能够修复文件或采用 replace 等方式解码。

Python 2 没有问题是由于 Python 2 默认以字节流（对应 Python 3 的 bytes）的方式读文件，不像 Python 3 默认解码为 unicode，把读文件的方式改成 rb 有一样的效果，不过 Python 3 中处理 bytes 还可能遇到不少问题就是了……

 

最后决定，以二进制形式读取，忽略特殊字符形成的转码错误，而后就能够了：

contents = open('F:\\28\\数据分析\\MLiA_SourceCode\\machinelearninginaction\\Ch04\\\email\\ham/%d.txt'%i,'rb').read().decode('utf8','ignore')