Python中文GBK编码解决实例

http://eatsalt.blog.163.com/blog/static/879402662009420508748/

#coding:gbk
l=['我'.decode('gbk'),'我'.decode('gbk'),'我'.decode('gbk'),'你'.decode('gbk')]
print l.count('我'.decode('gbk'))
结果：
3
若代码改成：
#coding:gbk
l=['我','我'.decode('gbk'),'我'.decode('gbk'),'你'.decode('gbk')]
print l.count('我'.decode('gbk'))
结果：
2
codingtest.py:3: UnicodeWarning: Unicode equal comparison failed to convert both arguments to Unicode - interpreting them as being unequal
  print l.count('我'.decode('gbk'))
========================================================
# -*- coding:gbk -*-
import sqlite3
def initdb():
    con = sqlite3.connect(":memory:")
    cur = con.cursor()
    cur.execute("create table characters(c)")
    cur.executemany("insert into characters(c) values (?)", '我是'.decode('gbk'))
    cur.execute("select * from characters")
    for i in cur.fetchall():
        print i[0].encode('gbk')
initdb()
print '谁'.decode('gbk').encode('gbk')
结果：
我
是
谁
先decode，再encode ： '谁'.decode('gbk').encode('gbk')  才不会出乱码！
===========================================================================
# -*- coding:gbk -*-
import sqlite3 as db
i=open("C:\\1.txt").read()
i=(i.decode('gbk'),)
con=db.connect(":memory:")
cur=con.cursor()
cur.execute("create table BWORDS(words char(10))")
cur.execute("insert into BWORDS(words) values(?)",i)
cur.execute("select words from BWORDS")
for d in cur.fetchall():
    print d[0].encode('gbk')
结果：
你
我是
好哈
IDE编码设置为GBK。从文本文件（为ANSI格式）读取数据为str类型，而后第一步进行解码gbk：decode('gbk') 成utf8，再包装成tuple：     i=(i.decode('gbk'),)   。最后，输出数据，还要编码为gbk：  d[0].encode('gbk')
代码二：
# -*- coding:gbk -*- 
import sqlite3 as db
i=open("C:\\1.txt").readlines()
con=db.connect(":memory:")
cur=con.cursor()
cur.execute("create table BWORDS(words char(10))")
for r in i:
    cur.execute("insert into BWORDS(words) values(?)",(r.decode('gbk'),))
cur.execute("select words from BWORDS")
for d in cur.fetchall():
    print d[0].encode('gbk')
cur.execute("select count(*) from BWORDS")
for q in cur.fetchall():
    print q[0]
结果：
你
我是
好哈
3
====================================================================
cur.execute("select int,chinese from FREQTABLE where freq>0")
for t in cur.fetchall():
    print t[0].encode('gbk'),t[1]
  当数表中有多列时，而且某列含有中文，这时候须要将结果转换为gbk编码：t[0].encode('gbk')  ，整型则无需任何转换！
====================================================================
如下文字选自：http://hi.baidu.com/daping_zhang/blog/item/09dda71ea9d7d21f4134173e.html

x = u"中文你好"
print s

    运行上述代码，Python会给出下面的错误提示

SyntaxError: Non-ASCII character '\xd6' in file G:\workspace\chinese_problem\src\test.py on line 1, but no encoding declared; see http://www.python.org/peps/pep-0263.html for details

   说是遇到非ASCII字符了，并让咱们参考pep-0263。PEP-0263（Python Enhancement Proposal）上面说得很清楚了，Python也意识到了国际化问题，并提出了解决方案。根据提案上面的要求，咱们有以下代码

# -*- coding:gb2312 -*- ＃必须在第一行或者第二行
print "-------------code 1----------------"
a = "中文a我爱你"
print a
print a.find("我")
b = a.replace("爱", "喜欢")
print b
print "--------------code 2----------------"
x = "中文a我爱你"
y = unicode(x, "gb2312")
print y.encode("gb2312")
print y.find(u"我")
z = y.replace(u"爱", u"喜欢")
print z.encode("gb2312")
print "---------------code 3----------------"
print y

    程序运行的结果以下：

-------------code 1----------------
中文a我爱你
5
中文a我喜欢你
--------------code 2----------------
中文a我爱你
3
中文a我喜欢你
---------------code 3----------------
Traceback (most recent call last):
  File "G:\Downloads\eclipse\workspace\p\src\hello.py", line 16, in <module>
    print y
UnicodeEncodeError: 'ascii' codec can't encode characters in position 0-1: ordinal not in range(128)

     咱们能够看到，经过引入编码声明，咱们能够正常地在使用中文了，并且在code 1和2中，控制台也能正确的把中文打印出来。可是，很明显，上面的代码也反映出了很多的问题：
    一、code 1 和 2在使用print时采用了不一样的方式，1是直接print，而2在print以前先进行编码
    二、code 1 和 2中在一样的字符串查找同一个字符“我”，得出的结果不同（分别是5和3）
    三、code 3 中直接打印unicode字符串 y时出现错误（这也是为何code 2中要先进行编码的缘由）

    为何？为何？咱们能够先在脑海中模拟一下咱们使用Python的流程：首先，咱们先用编辑器编写好源代码，保存成文件。若是源代码中有编码声明并且用的编辑器支持该语法，那么该文件就以相应的编码方式保存在磁盘中。注意：编 码声明和源文件的编码不必定是一致的，你彻底能够在编码声明中声明编码为UTF-8，可是用GB2312来保存源文件。固然，咱们不可能自寻烦恼，故意写 错，并且好的IDE也能强制保证二者的一致性，可是，若是咱们用记事本或者EditPlus等编辑器来编写代码的话，一不当心就会出现这种问题的。     获得一个.py文件后，咱们就能够运行它了，这是，咱们就把代码交给Python解析器来完成解析工做。解析器读入文件时，先解析文件中的编码声明，咱们 假设文件的编码为gb2312，那么先将文件中的内容由gb2312转换成Unicode，而后再把这些Unicode转换为UTF-8格式的字节串。完 成这一步骤后，解析器把这些UTF-8字节串分段，解析。若是遇到使用Unicode字符串，那么就使用相应的UTF-8字节串建立Unicode字符 串，若是程序中使用的是通常的字符串，那么解析器先将UTF-8字节串经过Unicode转换成相应编码（这里就是gb2312编码）的字节串，并用其创 建通常的字符串对象。也就是说，Unicode字符串跟通常字符串在内存中的存放格式是不同的，前者使用UTF-8的格式，后者使用GB2312格式。     好了，内存中的字符串存放格式咱们知道了，下面咱们要了解print的工做方式。print其实只是负责把内存中相应的字节串交给操做系统，让操做系统相应的程序（譬如cmd窗口）进行显示。这里有两种状况：    一、若字符串是通常的字符串，那么print只需把内存中相应的字节串推送给操做系统。如例子中的code 1。     二、若是字符串是Unicode字符串，那么print在推送以前先进行相应的encode：咱们能够显示使用Unicode的encode方法使用合适 的编码方式来编码（例子中code 2），不然Python使用默认的编码方式进行编码，也就是ASCII（例子中的code 3）。固然ASCII是不可能正确编码中文的，所以Python报错。     至此，上面的三个问题咱们已经能够解析第一和第三个了。至于第二个问题，由于Python中有两种字符串，通常字符串和Unicode字符串，二者都有各 自的字符处理方法。对于前者，方法是以字节的方式进行的，并且在GB2312中，每一个汉字占用两个字节，所以获得的结果是5；对于后者，也就是 Unicode字符串，全部字符都是统一看待的，所以获得3。      虽然上面只提到了控制台程序的中文问题，可是文件读写以及网络传输中出现的中文问题在原理上都是相似的。Unicode的出现能够很大程度上解决软件的国 际化问题，同时Python为Unicode提供了极为良好的支持，所以，我建议你们在编写Python的程序时，都统一使用Unicode方式。保存文 件时使用UTF-8的编码方式。How to Use UTF-8 with Python有详细的描述，你们能够参考一下。