Python2与Python3关于字符串编码处理的差别总结


Posted in Python onSeptember 07, 2020

0x00 字符的编码

计算机毕竟是西方国家的发明,最开始并没有想到会普及到全世界,只用一个字节中的7位(ASCII)来表示字符对于现在庞大的文字数量来说显然不够,所以先后经历了好几套编码方案,不同国家和地区又有自己的方案,造成了现在诸多的历史遗留问题。

0x01 Python中的字符串

Python有两种不同的字符串,一种存储文本,一种存储字节。对于文本,Python内部采用Unicode存储,而字节字符串显示原始字节序列或者ASCII。

什么叫编码(encode)?

按照字面意思和以往经验,我要把这个文本或字符串用“UTF-8”编码,感觉上应该是对字节数据进行编码然后显示正确的文字。大多数人都是这么想的,可事实呢?

编码的意思是将Unicode字符按照编码规则(如UTF-8)编成字节序列:

Python2与Python3关于字符串编码处理的差别总结

有人此时会问,我用 print 语句打印出来怎么是乱码或者是中文,并不是字节序列。这是因为你调用 print 语句的时候,默认进行了隐式解码,为的是让人类看见友好的字符数据 ,也就是默认的进行了str()包装,想看见背后真正的十六进制数,你需要调用魔术方法 _repr_()

什么叫解码(decode)?

对应的,解码就是将字节序列按照编码规则(如UTF-8)解释成unicode形式。

Python2与Python3关于字符串编码处理的差别总结

这里或许又会有疑问,编码解码都是十六进制,那中文字符咋显示的?
这又要结合你的环境了。看完我上面推荐的文章,你就会明白,Unicode只是一种标准,而具体的编码才是实现方式。有了正确的Unicode编码,仅仅代表你有了正确的英文文献,想翻译成中文,还得再转换一次。而这一次转换,是你的环境帮你完成。举个例子,你打开一个文档,发现是乱码,多半是文本编辑器的解码方式有问题,换个解码规则就好了。

0x02 Python2 和 Python3 之间的区别

Python3 一切都很美好

在Python3当中,文本字符串类型(使用Unicode数据存储)被命名为 str , 字节字符串类型被命名为 bytes 。一般情况下,实例化一个字符串会得到一个 str 对象 :

Python2与Python3关于字符串编码处理的差别总结

所以现在很多人都说,Python3默认是Unicode,也就是这个意思。

如果你想得到bytes,那就在文本之前加上前缀 b , 或者 encode 一下。

Python2与Python3关于字符串编码处理的差别总结

所以,很显然,str 对象有一个encode方法,bytes 对象有一个decode方法。

Python2 相当的操蛋,甚至会误导你

在Python3中的 str 对象在Python2中叫做 unicode ,感觉很通俗对吧?但 bytes 对象在Python2中叫做 str ,对。。就是你平时用的 str , 默认的那个。。。

如果你想得到一个文本字符串,你需要在字符串之前加上前缀 u 或者 decode 一下。

搞笑的还不止这么点,Python2中的 str (字节) 对象,竟然有一个 encode 方法!!!而且你别指望它有什么特殊用处,它就是用来报错的,永远都别使用它!!!

同样的,unicode (文本字符) 对象也有一个用来报错的 decode 方法。

我们尝试一下:

Python2与Python3关于字符串编码处理的差别总结

不知道大家注意到错误信息没有,我们在进行解码,规则是GBK,但它说 无法用 ascii 进行编码 ,这是为什么?

这就是Python2自作聪明为了对一个unicode对象执行解码而进行的隐式编码 ,等于以下代码:

b.encode('ascii').decode('GBK')

这就是为什么很多人说,Python2的编码很操蛋。

0x03 小结

如果你在用2.X,请养成在字符串加上 u 前缀的习惯,统一编码UTF-8,如果windows控制台或者Pycharm控制台依旧出现乱码,那多半是控制台编码不同,改过来就好。

参考书籍 《Python 高级编程》

总结

到此这篇关于Python2与Python3关于字符串编码处理的差别总结的文章就介绍到这了,更多相关Python2与Python3字符串编码处理差别内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Python 相关文章推荐
Python中encode()方法的使用简介
May 18 Python
Python构建网页爬虫原理分析
Dec 19 Python
关于python写入文件自动换行的问题
Jun 23 Python
用python统计代码行的示例(包括空行和注释)
Jul 24 Python
Python面向对象实现一个对象调用另一个对象操作示例
Apr 08 Python
pytorch 使用单个GPU与多个GPU进行训练与测试的方法
Aug 19 Python
已安装tensorflow-gpu,但keras无法使用GPU加速的解决
Feb 07 Python
Pytorch .pth权重文件的使用解析
Feb 14 Python
python实现udp聊天窗口
Mar 31 Python
Python爬虫实现vip电影下载的示例代码
Apr 20 Python
详解Python IO口多路复用
Jun 17 Python
如何Tkinter模块编写Python图形界面
Oct 14 Python
python 装饰器的实际作用有哪些
Sep 07 #Python
通俗讲解python 装饰器
Sep 07 #Python
彻底搞懂python 迭代器和生成器
Sep 07 #Python
python如何设置静态变量
Sep 07 #Python
获取CSDN文章内容并转换为markdown文本的python
Sep 06 #Python
浅谈Python描述数据结构之KMP篇
Sep 06 #Python
详解Python3 定义一个跨越多行的字符串的多种方法
Sep 06 #Python
You might like
实例(Smarty+FCKeditor新闻系统)
2007/01/02 PHP
如何使用php输出时间格式
2013/08/31 PHP
PHP连接MySQL的2种方法小结以及防止乱码
2014/03/11 PHP
strpos() 函数判断字符串中是否包含某字符串的方法
2019/01/16 PHP
基于Laravel 多个中间件的执行顺序详解
2019/10/21 PHP
javascript 实现 秒杀,团购 倒计时展示的记录 分享
2013/07/12 Javascript
JQuery给网页更换皮肤的方法
2015/05/30 Javascript
js全选按钮的实现方法
2015/11/17 Javascript
在其他地方你学不到的jQuery小贴士和技巧(欢迎收藏)
2016/01/20 Javascript
详解AngularJS 模态对话框
2016/04/07 Javascript
jQuery基于正则表达式的表单验证功能示例
2017/01/21 Javascript
在 Angular2 中实现自定义校验指令(确认密码)的方法
2017/01/23 Javascript
Easyui Tree获取当前选择节点的所有顶级父节点
2017/02/14 Javascript
Ajax验证用户名或昵称是否已被注册
2017/04/05 Javascript
ES6学习笔记之正则表达式和字符串正则方法分析
2017/04/25 Javascript
javascript实现QQ空间相册展示源码
2017/12/12 Javascript
详解Angular6.0使用路由步骤(共7步)
2018/06/29 Javascript
jQuery中$原理实例分析
2018/08/13 jQuery
vue中promise的使用及异步请求数据的方法
2018/11/08 Javascript
JavaScript之实现一个简单的Vue示例
2019/01/17 Javascript
js module大战
2019/04/19 Javascript
python连接mysql并提交mysql事务示例
2014/03/05 Python
python实现数据写入excel表格
2018/03/25 Python
python简单贪吃蛇开发
2019/01/28 Python
python二维码操作:对QRCode和MyQR入门详解
2019/06/24 Python
PyTorch的深度学习入门之PyTorch安装和配置
2019/06/27 Python
python+selenium select下拉选择框定位处理方法
2019/08/24 Python
scikit-learn线性回归,多元回归,多项式回归的实现
2019/08/29 Python
OpenCV 之按位运算举例解析
2020/06/19 Python
windows10在visual studio2019下配置使用openCV4.3.0
2020/07/14 Python
Python如何把字典写入到CSV文件的方法示例
2020/08/23 Python
Python 中 sorted 如何自定义比较逻辑
2021/02/02 Python
瑰珀翠美国官网:Crabtree & Evelyn美国
2016/11/29 全球购物
白酒营销策划方案
2014/08/17 职场文书
2016党员发展对象培训心得体会
2016/01/08 职场文书
MySQL性能指标TPS+QPS+IOPS压测
2022/08/05 MySQL