Python的ASCII, GB2312, Unicode , UTF-8

[转]Python的ASCII, GB2312, Unicode , UTF-8

2007-12-13 10:50:47| 分类： Python实用软件编 |字号 订阅 ASCII 是一种字符集,包括大小写的英文字母、数字、控制字符等，它用一个字节表示，范围是 0-127

Unicode分为UTF-8和UTF-16。UTF-8变长度的，最多 6 个字节，小于 127 的字符用一个字节表示，与 ASCII 字符集的结果同样，ASCII 编码下的英语文本不须要修改就能够看成 UTF-8 编码进行处理。

Python 从 2.2 开始支持 Unicode ，函数 decode( char_set )能够实现 其它编码到 Unicode 的转换，函数 encode( char_set )实现 Unicode 到其它编码方式的转换。

好比 ("你好").decode( "GB2312") 将获得 u'\u4f60\u597d'，即 "你"和“好"的 Unicode 码分别是 0x4f60 和 0x597d 再用 (u'\u4f60\u597d').encode("UTF-8") 将获得 '\xe4\xbd\xa0\xe5\xa5\xbd'，它是 “你好”的UTF-8编码结果。

python中使用 unicode的关键：unicode是一个类，函数unicode(str,"utf8")从utf8编码（固然也能够是别的编码）的字符串str生成 unicode类的对象，而函数unc.encode("utf8")将unicode类的对象unc转换为（编码为）utf8编码（固然也能够是别的编码）的字符串。因而，编写unicode相关程序，须要作的事情是

* 获取数据（字符串）时，用unicode(str, "utf8")生成unicode对象
* 在程序中仅使用unicode对象，对程序中出现的字符串常量都以u"字符串"的形式书写
* 输出时，可将unicode对象转换为任意编码输出，使用str.encode("some_encoding")

unicode("你好", "utf8") u'\u4f60\u597d' x = _ type(x)

type("你好")

x.encode("utf8") '\xe4\xbd\xa0\xe5\xa5\xbd' x.encode("gbk") '\xc4\xe3\xba\xc3' x.encode("gb2312") '\xc4\xe3\xba\xc3' print x 你好 print x.encode("utf8") 你好 print x.encode("gbk") ???

以上是测试结果（Ubuntu 6.06，locale为utf8），注意type(x)和type("你好")的区别。从编码上能够看出utf8编码与gbk不一样。在utf8的 locale设置下，打印x按该环境变量编码（我猜我猜我猜猜猜），而打印x.encode("gbk")则是乱码。