Python2与Python3关于字符串编码处理的差别总结


Posted in Python onSeptember 07, 2020

0x00 字符的编码

计算机毕竟是西方国家的发明,最开始并没有想到会普及到全世界,只用一个字节中的7位(ASCII)来表示字符对于现在庞大的文字数量来说显然不够,所以先后经历了好几套编码方案,不同国家和地区又有自己的方案,造成了现在诸多的历史遗留问题。

0x01 Python中的字符串

Python有两种不同的字符串,一种存储文本,一种存储字节。对于文本,Python内部采用Unicode存储,而字节字符串显示原始字节序列或者ASCII。

什么叫编码(encode)?

按照字面意思和以往经验,我要把这个文本或字符串用“UTF-8”编码,感觉上应该是对字节数据进行编码然后显示正确的文字。大多数人都是这么想的,可事实呢?

编码的意思是将Unicode字符按照编码规则(如UTF-8)编成字节序列:

Python2与Python3关于字符串编码处理的差别总结

有人此时会问,我用 print 语句打印出来怎么是乱码或者是中文,并不是字节序列。这是因为你调用 print 语句的时候,默认进行了隐式解码,为的是让人类看见友好的字符数据 ,也就是默认的进行了str()包装,想看见背后真正的十六进制数,你需要调用魔术方法 _repr_()

什么叫解码(decode)?

对应的,解码就是将字节序列按照编码规则(如UTF-8)解释成unicode形式。

Python2与Python3关于字符串编码处理的差别总结

这里或许又会有疑问,编码解码都是十六进制,那中文字符咋显示的?
这又要结合你的环境了。看完我上面推荐的文章,你就会明白,Unicode只是一种标准,而具体的编码才是实现方式。有了正确的Unicode编码,仅仅代表你有了正确的英文文献,想翻译成中文,还得再转换一次。而这一次转换,是你的环境帮你完成。举个例子,你打开一个文档,发现是乱码,多半是文本编辑器的解码方式有问题,换个解码规则就好了。

0x02 Python2 和 Python3 之间的区别

Python3 一切都很美好

在Python3当中,文本字符串类型(使用Unicode数据存储)被命名为 str , 字节字符串类型被命名为 bytes 。一般情况下,实例化一个字符串会得到一个 str 对象 :

Python2与Python3关于字符串编码处理的差别总结

所以现在很多人都说,Python3默认是Unicode,也就是这个意思。

如果你想得到bytes,那就在文本之前加上前缀 b , 或者 encode 一下。

Python2与Python3关于字符串编码处理的差别总结

所以,很显然,str 对象有一个encode方法,bytes 对象有一个decode方法。

Python2 相当的操蛋,甚至会误导你

在Python3中的 str 对象在Python2中叫做 unicode ,感觉很通俗对吧?但 bytes 对象在Python2中叫做 str ,对。。就是你平时用的 str , 默认的那个。。。

如果你想得到一个文本字符串,你需要在字符串之前加上前缀 u 或者 decode 一下。

搞笑的还不止这么点,Python2中的 str (字节) 对象,竟然有一个 encode 方法!!!而且你别指望它有什么特殊用处,它就是用来报错的,永远都别使用它!!!

同样的,unicode (文本字符) 对象也有一个用来报错的 decode 方法。

我们尝试一下:

Python2与Python3关于字符串编码处理的差别总结

不知道大家注意到错误信息没有,我们在进行解码,规则是GBK,但它说 无法用 ascii 进行编码 ,这是为什么?

这就是Python2自作聪明为了对一个unicode对象执行解码而进行的隐式编码 ,等于以下代码:

b.encode('ascii').decode('GBK')

这就是为什么很多人说,Python2的编码很操蛋。

0x03 小结

如果你在用2.X,请养成在字符串加上 u 前缀的习惯,统一编码UTF-8,如果windows控制台或者Pycharm控制台依旧出现乱码,那多半是控制台编码不同,改过来就好。

参考书籍 《Python 高级编程》

总结

到此这篇关于Python2与Python3关于字符串编码处理的差别总结的文章就介绍到这了,更多相关Python2与Python3字符串编码处理差别内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Python 相关文章推荐
Python fileinput模块使用介绍
Nov 30 Python
推荐11个实用Python库
Jan 23 Python
解析Python中while true的使用
Oct 13 Python
pandas中Timestamp类用法详解
Dec 11 Python
Python简单计算数组元素平均值的方法示例
Dec 26 Python
Python之读取TXT文件的方法小结
Apr 27 Python
pytorch 调整某一维度数据顺序的方法
Dec 08 Python
网易有道2017内推编程题 洗牌(python)
Jun 19 Python
决策树剪枝算法的python实现方法详解
Sep 18 Python
Python.append()与Python.expand()用法详解
Dec 18 Python
基于Keras中Conv1D和Conv2D的区别说明
Jun 19 Python
浅谈pytorch中的BN层的注意事项
Jun 23 Python
python 装饰器的实际作用有哪些
Sep 07 #Python
通俗讲解python 装饰器
Sep 07 #Python
彻底搞懂python 迭代器和生成器
Sep 07 #Python
python如何设置静态变量
Sep 07 #Python
获取CSDN文章内容并转换为markdown文本的python
Sep 06 #Python
浅谈Python描述数据结构之KMP篇
Sep 06 #Python
详解Python3 定义一个跨越多行的字符串的多种方法
Sep 06 #Python
You might like
Smarty模板快速入门
2007/01/04 PHP
在smarty中调用php内置函数的方法
2013/02/07 PHP
php利用单例模式实现日志处理类库
2014/02/10 PHP
Laravel框架数据库CURD操作、连贯操作总结
2014/09/03 PHP
Thinkphp批量更新数据的方法汇总
2016/06/29 PHP
PHP会员找回密码功能的简单实现
2016/09/05 PHP
PHP用FTP类上传文件视频等的简单实现方法
2016/09/23 PHP
兼容ie和firefox js关闭代码
2008/12/11 Javascript
屏蔽F1~F12的快捷键的js函数
2010/05/06 Javascript
javascript跑马灯悬停放大效果实现代码
2012/12/12 Javascript
jQuery filter函数使用方法
2014/05/19 Javascript
JS实现仿微博可关闭弹出层效果
2015/09/21 Javascript
Bootstrap在线电子商务网站实战项目5
2016/10/14 Javascript
javascript实现根据函数名称字符串动态执行函数的方法示例
2016/12/28 Javascript
详解AngularJS1.6版本中ui-router路由中/#!/的解决方法
2017/05/22 Javascript
解决JS内存泄露之js对象和dom对象互相引用问题
2017/06/25 Javascript
详解vue2 $watch要注意的问题
2017/09/08 Javascript
jquery绑定事件 bind和on的用法与区别分析
2020/05/22 jQuery
Python模拟登陆淘宝并统计淘宝消费情况的代码实例分享
2016/07/04 Python
Python连接PostgreSQL数据库的方法
2016/11/28 Python
利用python获取某年中每个月的第一天和最后一天
2016/12/15 Python
python使用opencv进行人脸识别
2017/04/07 Python
Python基于生成器迭代实现的八皇后问题示例
2018/05/23 Python
opencv python 基于KNN的手写体识别的实例
2018/08/03 Python
浅析python中的迭代与迭代对象
2018/10/08 Python
Python命名空间的本质和加载顺序
2018/12/17 Python
pycharm中使用anaconda部署python环境的方法步骤
2018/12/19 Python
python实现浪漫的烟花秀
2019/01/30 Python
如何基于python实现脚本加密
2019/12/28 Python
Python如何实现爬取B站视频
2020/05/20 Python
python 读取yaml文件的两种方法(在unittest中使用)
2020/12/01 Python
python通用数据库操作工具 pydbclib的使用简介
2020/12/21 Python
用python查找统一局域网下ip对应的mac地址
2021/01/13 Python
银河香水:Galaxy Perfume
2019/03/25 全球购物
澳大利亚礼品卡商店:Gift Card Store
2019/06/24 全球购物
Nginx配置之禁止指定IP访问
2022/05/02 Servers