学爬虫有一段时间了,期间老是以为内容编码会傻傻分不清楚,尤为是直接网页拿数据的时候,碰见中文有时候特别麻烦,看大神介绍的东西太多,只记下了处理方式,仅供参考,不对地方欢迎你们指正~~html
通常请求返回内容编码方式步骤以下:app
一、查看数据源网页的编码形式--爬取数据所在网页源代码就有写:网站
二、编码解析:编码
respond.decode(请求返回的编码格式).encode(Python默认的utf-8)url
笔记中其余大神这样教,实践中大多状况我都用:respond.encode(Python默认的utf-8).decode(请求返回的编码格式).net
爬取网页内容正常编译,无报错,英文均显示正常,中文乱码code
最近爬取免费取名网站时候,碰见爬下来的编码正确编码后无报错,英文均显示正常,可是中文奇奇怪怪乱码状况以下图,网页编码两种状况碰见解析后如此,处理方法以下,htm
第一种:网页编码为gb2312 (requests的get方式获取数据)blog
原来处理方式(出现上图乱码),响应内容=respond.text.encode('utf-8').decode('gb2312')×utf-8
改进处理方式: ① respond.content.decode('gb18030','ignore') ---亲试碰见中文响应内容解析仍是用这种方式好
② respond.content.decode('gbk','ignore')
#使用gbk2312出现报错'gbk' codec can't encode character '\u30fb' in position 12530: illegal multibyte sequence~ 这是一个很尴尬的问题,第二种第一次处理也报错,后面又能够了~~~
总结:碰见中文编码decode里面,'gbk'/'gbk2312'/'gb18030' (备用繁体编码选项没用过,能够留用'big5'/'big5hkscs')总有一款适合你 实在不行看下面↓↓↓
第二种:网页编码为utf-8 (requests的get方式获取数据)
尝试了上面n中组合形式,就是顽固的不行,终于借鉴了一些大神的方法解决掉了,decode('utf-8')肯定无疑。
解决乱码:在代码以前添加默认设置编码格式
sys.stdout = io.TextIOWrapper(sys.stdout.buffer,encoding='gb18030')
url = 'https://www.yw11.com/html/qiming/xuename/2009/0929/273.html'
urlcontent = requests.get(url).content.decode('utf-8')
转自:https://blog.csdn.net/u010924297/article/details/80353440