今天要处理百度贴吧的东西。想要作一个关键词的list,每次须要时,直接添加 到list里面就能够了。可是添加到list里面是中文的状况(好比‘丽江’),url的地址编码倒是'%E4%B8%BD%E6%B1%9F',所以需 要作一个转换。这里咱们就用到了模块urllib。
>>> import urllib
>>> data = '丽江'
>>> print data
丽江
>>> data
'\xe4\xb8\xbd\xe6\xb1\x9f'
>>>
urllib.quote(data)
'%E4%B8%BD%E6%B1%9F'
那咱们想转回去呢?
>>> urllib.unquote('%E4%B8%BD%E6%B1%9F')
'\xe4\xb8\xbd\xe6\xb1\x9f'
>>> print
urllib.unquote('%E4%B8%BD%E6%B1%9F')
丽江
细心的同窗会发现贴吧url中出现的是%C0%F6%BD%AD,而非'%E4%B8%BD%E6%B1%9F',实际上是编码问题。百度的是gbk,其余的通常网站好比google就是utf8的。因此能够用下列语句实现。
>>> import sys,urllib
>>> s = '丽江'
>>> urllib.quote(s.decode(sys.stdin.encoding).encode('gbk'))
'%C0%F6%BD%AD'
>>> urllib.quote(s.decode(sys.stdin.encoding).encode('utf8'))
'%E4%B8%BD%E6%B1%9F'
>>>
另外一个方法
#!/usr/bin/python
import urllib
import sys
string = sys.argv[1]
string = unicode(string,"gbk")
utf8_string = string.encode("utf-8")
gbk_string=string.encode("gbk")
gbk=urllib.quote(gbk_string)
utf8=urllib.quote(utf8_string)
print gbk
print utf8