彻彻底底地理解Python中的编码问题


Posted in Python onOctober 15, 2018

Python处理文本的功能非常强大,但是如果是初学者,没有搞清楚python中的编码机制,也经常会遇到乱码或者decode error。本文的目的是简明扼要地说明python的编码机制,并给出一些建议。

问题1:问题在哪里?

问题是我们的靶子,心中没有问题去学习就会抓不住重点。

本文使用的编程环境是centos6.7,python2.7。我们在shell中键入python以打开python命令行,并键入如下两句话:

s = "中国zg"
 e = s.encode("utf-8")

现在的问题是:这段代码能运行吗?

答案是不能,会报如下的错:

UnicodeDecodeError: 'ascii' codec can't decode byte 0xe4 in position 0: ordinal not in range(128)

请留意一下错误中说明的0xe4,它是我们分析错误的突破口。

相信很多人都遇到过这个错误。那么新的问题来了。

问题2:Why?

要搞清楚原因,我们不妨认真分析下这两句话的执行流程:

首先,我们通过键盘在python命令行解释器中键入了 中国zg 并且给它加上了英文的双引号,然后又赋值给了变量s,看起来很稀松平常是不是?其实里面大有玄机。

当我们通过键盘在程序中输入字符时,我们是通过操作系统完成这个功能的。我们在屏幕上看到的 中国zg 实际上是操作系统给我们人类的一个反馈,告诉你:“嗨,哥们,你在程序中输入了字符 中国zg ”

那操作系统给程序的反馈是什么呢?答案就是01串,这个01串是什么样子,又是怎么生成的呢?

答案就是操作系统使用自己的默认编码方式,将中国zg进行了编码,并把编码后的01串给了程序。

我们用的centos系统默认的编码是utf-8,所以,只要知道中国zg每个字符的utf-8的编码就可以知道01串是什么了。

查询后,可以获得它们的编码是(以16进制和2进制表示):

z g
E4B8AD E59BBD 7A 67
11100101 10011011 10111101 11100101 10011011 10111101 01111010 01100111

现在我们知道操作系统传给程序的01串长什么样子了。然后,程序会怎么处理它呢?

程序看到这个01串被双引号包围着,自然知道这个01串是一个字符串。然后这个字符串被赋值给了s。

到此,就是第一句的执行逻辑。

现在继续进行第二句的执行。

e = s.encode("utf-8")的意思是将字符串s用utf-8进行编码,并将编码后的字符串赋值给e。问题来了,程序现在知道s中的01串,还知道这个01串表示的是字符串,但这个字符串的编码是什么呢?我们必须知道01串的现有编码才能解析出里面的字符,也才能用新的编码方式,如utf-8来重新编码它。操作系统只给程序传来了01串,并没有告诉程序这个01串用的字符编码是什么。

此时,python程序就会用它自己默认的编码当作s的编码,进而来识别s中的内容。这个默认的编码是ASCII,所以,它会用ASCII来解释这个01串,识别出字符串的内容,再将这个字符串转为utf-8编码。

好了,程序碰到的第一个字节就是E4(11100101 ),傻眼! ASCII编码中没有这玩意儿,因为ASCII编码中字节第一位都是0。

怎么办?

报错呗,于是我们就看到了上面的错误。

错误中的0xe4就是字符 “中” 的utf8编码的第一个字节。

问题3:How?

知道问题出在哪里了,怎么解决这个问题呢?

显然,我们只要告诉程序,这个s中的01串的编码是utf-8,程序就应该能正确工作。

但这样的解决方法有一个问题,就是不够通用。

假如我有个程序,它要读取很多文本文件,每个文本文件的编码都不一样,岂不是针对每个读进来的文件都维护一个编码信息?很繁琐。

进一步,如果这些文本文件的内容还要做相互的比较连接之类的操作,编码都不一致,岂不是更麻烦?

python是怎么聪明地解决这个问题的呢?

很简单,就是decode!

decode的意思是说,你有一个字符串,并且你知道它的编码,只要你用该编码decode这个字符串,那么,python就会识别出里面的字符内容,同时,建一个int数组,将每个字符的unicode序号存进去。

所有的字符串都这样做,就可以确保在程序运行过程中,各种来源获得的字符串都有一样的表示。它们就可以方便地进行各种操作了。

上面说的 int数组会被python封装成一个对象,即unicode对象。

问题4:如何搞定?

下面,我们在python命令行中输入如下两行代码:

e = s.decode("utf-8")
isinstance(e,unicode)

程序的输出是True,这说明,decode后返回的e确实是一个unicode对象。

unicode在这里是一个类,是python里面的类。

e 被称作unicode字符串,意思是说,它存的是字符的unicode序号,并没有使用任何编码。

然后,我们就可以将e编码成任意一种编码,比如下面的操作都是可以的

e.encode("utf-8")
e.encode("gbk")

只要你选择的编码能够对e中的字符进行编码即可,如果不能编码,就会报错。

比如,如果你尝试这样:

e.encode("ascii")

由于ASCII并不能编码 中国 这两个字符,所以会爆出 encode error。

至此,我们已经看到了两种错误,decode error 和encode error,并解决了它们。

问题5:如何评价python的这种字符编码处理方法?

首先,这样的处理方法非常的简单。任何文本,只要它进入程序时进行一次decode,就会变成unicode对象,里面用int存着每个字符的unicode序号。只要在这个文本要输出时再进行一次encode,编码成我们需要的编码就可以了。

问题是,所有的字符都用一个int来表示会不会太浪费空间?毕竟,用ASCII编码,英文的字符只要一个字节就可以了。

确实会费点空间,但是现在的内存都足够大,而且我们只在程序内部使用这种方式,当字符串要写入文件或者通过网络传输时,我们都会进行相应的编码的。

还有一个问题,那些写死在程序中的字符串怎么办?难道每次使用都要进行一次decode?不同的操作系统默认使用的编码是不一样的,当我们在linux下,通常需要用utf8做decode,在Windows下,通常需要用gbk做 decode。这样,我们的代码就只能在特定的平台运行。

python给我们提供了一个很简单的办法,只要在字符串前面加一个u,它就会帮我们探测系统的编码,并自动完成decode。

问题6:总结下,学到了什么?

本文用一个很常见的错误为起点,详细分析了python中的编码问题。我们看到了python处理字符问题的简单之处,也能够理解为什么python有这么强大的文本处理功能。

测试题:看你是否真正理解了。

假设一台linux上有一个文件a.txt,里面的内容是"中文"两个字符,编码方式是utf-8。

现在,在python程序中写如下语句:

import codec
s=""
with codec.open("a.txt",encoding="utf-8") as f:
s=f.readline().strip()
with open("b.txt","w") as f:
f.write(s)

请问这段代码能执行吗?为什么?

答案:不能!

s底下的表示是unicode,写出时python会对其进行编码,默认用的ascii编码无法对"中文"两个字符进行编码,所以会报错!

总结

以上所述是小编给大家介绍的彻彻底底地理解Python中的编码问题,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对三水点靠木网站的支持!

Python 相关文章推荐
python 生成不重复的随机数的代码
May 15 Python
Python中的ctime()方法使用教程
May 22 Python
1分钟快速生成用于网页内容提取的xslt
Feb 23 Python
python实时监控cpu小工具
Jun 21 Python
python如何获取列表中每个元素的下标位置
Jul 01 Python
python实现从wind导入数据
Dec 03 Python
Python hashlib加密模块常用方法解析
Dec 18 Python
Python使用configparser库读取配置文件
Feb 22 Python
python爬虫开发之PyQuery模块详细使用方法与实例全解
Mar 09 Python
Python接口测试结果集实现封装比较
May 01 Python
Pycharm学生免费专业版安装教程的方法步骤
Sep 24 Python
python中requests模拟登录的三种方式(携带cookie/session进行请求网站)
Nov 17 Python
widows下安装pycurl并利用pycurl请求https地址的方法
Oct 15 #Python
解决python3 安装完Pycurl在import pycurl时报错的问题
Oct 15 #Python
Python安装pycurl失败的解决方法
Oct 15 #Python
django框架之cookie/session的使用示例(小结)
Oct 15 #Python
Python访问MongoDB,并且转换成Dataframe的方法
Oct 15 #Python
Django框架的中的setting.py文件说明详解
Oct 15 #Python
python得到电脑的开机时间方法
Oct 15 #Python
You might like
php导入导出excel实例
2013/10/25 PHP
yii实现使用CUploadedFile上传文件的方法
2015/12/28 PHP
浅谈htmlentities 、htmlspecialchars、addslashes的使用方法
2016/12/09 PHP
php实现的双色球算法示例
2017/06/20 PHP
使用PHP开发留言板功能
2019/11/19 PHP
php让json_encode不自动转义斜杠“/”的方法
2020/04/27 PHP
Add a Table to a Word Document
2007/06/15 Javascript
jQuery代码优化 遍历篇
2011/11/01 Javascript
js、css、img等浏览器缓存问题的2种解决方案
2013/10/23 Javascript
对table和ul实现js分页示例分享
2014/02/24 Javascript
jQuery判断元素是否存在的可靠方法
2014/05/06 Javascript
jQuery幻灯片带缩略图轮播效果代码分享
2015/08/17 Javascript
JS动态给对象添加属性和值的实现方法
2016/10/21 Javascript
JavaScript触发onScroll事件的函数节流详解
2016/12/14 Javascript
JS三目运算(三元运算)方法详解
2017/03/01 Javascript
通过V8源码看一个关于JS数组排序的诡异问题
2017/08/14 Javascript
浅谈Vue.js 中的 v-on 事件指令的使用
2018/11/25 Javascript
vue+element实现表格新增、编辑、删除功能
2019/05/28 Javascript
ES6 Proxy实现Vue的变化检测问题
2019/06/11 Javascript
jquery将json转为数据字典的实例代码
2019/10/11 jQuery
[02:39]DOTA2英雄基础教程 极限穿梭编织者
2013/12/05 DOTA
让python json encode datetime类型
2010/12/28 Python
浅谈Python中列表生成式和生成器的区别
2015/08/03 Python
Python实现按中文排序的方法示例
2018/04/25 Python
css3 给背景设置渐变色的方法
2019/09/12 HTML / CSS
canvas绘制圆角头像的实现方法
2019/01/17 HTML / CSS
JD Sports瑞典:英国领先的运动时尚商店
2018/01/28 全球购物
英国钻石公司:British Diamond Company
2020/02/16 全球购物
什么是静态路由,其特点是什么?什么是动态路由,其特点是什么?
2013/07/26 面试题
Hashtable 添加内容的方式有哪几种,有什么区别?
2012/04/08 面试题
2014两会学习心得:时代的发展
2014/03/17 职场文书
工作求职自荐信
2014/06/13 职场文书
医院志愿者活动总结
2015/05/06 职场文书
教师读书笔记
2015/06/29 职场文书
会议主持词通用版
2019/04/02 职场文书
vue 自定义的组件绑定点击事件
2022/04/21 Vue.js