windows 下 python 让人头痛的编码

最近有这样一个需求，须要抓在百度搜出来的各类网站，用urllib2获取的html页面各类乱码。

因而我便有2种解决方法。

1，本身写decode 和encode ，从response head里获取charset，而后用charset的编码 decode，而后encode成操做系统文件系统的编码（windows是gbk，linux是utf8），中间发现个库chardet[https://pypi.python.org/pypi/chardet]，貌似python3 已经里自带了，2里没有，能够很方便的检验字符的编码，对于一些获取charset为null能够用此判断。

2，更简单的方法，将获取的html（未知编码）直接交给beautifulsoup prettfy一下。

html =urllib2.urlopen(url).read()
# use beautifulsoup 格式化
soup = BeautifulSoup(html)
# print 出想要的encoding
print(soup.prettify("gbk"))

 

而后顺便研究了下python的编码问题。

#话说python3的能够不用看下去了，python3和java差很少了，只有str和byte存在了。
#repr将print python内部处理时的编码，因而可知python2，内部编码并非unicode
>>> unicode('我','utf8')
u'\u6211'

>>> repr('我')
"'\\xe6\\x88\\x91'"

# 同上
>>> repr(u'\u6211'.encode('utf8'))
"'\\xe6\\x88\\x91'"

>>> u'\u6211'.encode('utf8')
#'\xe6\x88\x91'
    
>>> print u'\u6211'.encode('utf8')
#我

# 无论是gbk仍是utf8编码的str他们的 unicode 相同
>>> unicode('我','utf8')
#u'\u6211'
>>> unicode('我'.decode('utf8').encode('gbk'),'gbk')
#u'\u6211'
    
#因而可知 同样的unicode 不一样的encoding，其内置编码不一样
>>>s1 = '联系'
>>>s2 = '联系'.decode('utf8').encode('gbk')
>>>repr(s1)
#'\xe8\x81\x94\xe7\xb3\xbb'
>>>repr(s2)
#'\xc1\xaa\xcf\xb5'