深入浅析python3中的unicode和bytes问题


Posted in Python onJuly 03, 2019

最近写了一些python3程序,四处能看到bytes类型,而它并不存在于python2中,这也是python3和python2显著区别之一。

以前在写python2代码的时候,经常会遇到很多编码报错的异常,原因在于python2对unicode的支持不是特别理想。而在python3中,所有编写的代码都是unicode,python解析器在运行的时候,内部都转换(除非你显示定义为bytes类型)为unicode,减少了出错的可能性。

在python3中,有两种字符串类型,默认的就是str,即unicode,也叫做文本类型。但一个程序总是会有I/O操作(磁盘,网络),即I/O二进制数据,在python3中定义为bytes类型。bytes类型就是一个个字节串,包含0~256 之间的一个整数。

那么如何定义bytes类型呢,有两种显示的方法,比如:

#只能允许ASCII值
x=b'abc'
y=b'\xe6\x88\x91'
print (x,y)
#对unicode字符集进行特定编码
t=bytes("我们","UTF-8")
#输出b'\xe6\x88\x91\xe4\xbb\xac'
#一个中文字符,UTF-8编码占用三个字节
print (t)
#返回6,对于python来说,就是字节序列的长度
print (len(t))
#返回2,代表两个字符
print (len("我们"))

接下去说说str类型和bytes类型之间的转换,比如从网络上读取到二进制数据后,python需要你显示的将其转换为str类型,也就是说 python不会隐式在str和bytes之间转换 ,看上去麻烦了很多,但会减少你出错的几率,自己明确自己做要的事情。

如果要将str转换为bytes,必须选择一个编码,明确二进制数据是如何编码的,比如:

x="我"
y=x.encode("UTF-8")
z=x.encode("GBK")
#b'\xe6\x88\x91' b'\xce\xd2'
print (y,z)

如果要将bytes转换为str,也需要一个编码,必须说明的是,你必须知道 二进制数据的编码是什么 ,如果选错了,转换为unicode的时候会错误,另外在python内部,它不关心二进制数据是什么编码的,只要是bytes类型, 它就是一串字节序列 ,比如:

x=b'\xe6\x88\x91'
print (x.decode("UTF-8"))
#会报错
print (x.decode("GBK"))

总之一句话,“ python内部使用unicode,外部使用bytes类型 ”,python内建库中,很多函数会说明需要str类型还是bytes类型(严格说来是bytes-like对象,比如bytes、bytearray ),在写代码的时候一定要看清楚,比如 hamc 库的new方法,就要求:

hmac.new(key, msg=None, digestmod=None) key is a bytes or bytearray object giving the secret key

很多库,尤其第三方库(比如requests)为了兼容python2和python3,会在内部做很多转换工作,让你意识不到bytes类型的存在,虽然生产力提高了,但对于理解python并没有太大的好处。

如果要充分理解bytes和str的应用,可以参考open和write两个内建函数。

使用文本方式打开文件,python在内部会自动转换为str类型,比如:

file ="t.txt"
t = open(file,mode="r").read()

而如果是二进制方式打开,如果要显示在终端,需要转换为str类型,比如:

file ="t.txt"
t = open(file,mode="rb").read()
print (t.decode())
print (t,type(t))

而如果是二进制方式写入,则将bytes类型数据直接写入,比如:

file="t.txt"
t=open(file,mode="wb")
t.write(b'\xe6\x88\x91')

在上面几个例子中,都没有说明使用那种编码,如果不显示指定,一般编码等同于locale.getpreferedencoding()

总结

以上所述是小编给大家介绍的python3中的unicode和bytes问题,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对三水点靠木网站的支持!
如果你觉得本文对你有帮助,欢迎转载,烦请注明出处,谢谢!

Python 相关文章推荐
Python性能优化的20条建议
Oct 25 Python
MySQL中表的复制以及大型数据表的备份教程
Nov 25 Python
十个Python程序员易犯的错误
Dec 15 Python
PyCharm使用教程之搭建Python开发环境
Jun 07 Python
Pandas之drop_duplicates:去除重复项方法
Apr 18 Python
详解python中的线程与线程池
May 10 Python
10分钟教你用python动画演示深度优先算法搜寻逃出迷宫的路径
Aug 12 Python
详解Python并发编程之创建多线程的几种方法
Aug 23 Python
使用Python为中秋节绘制一块美味的月饼
Sep 11 Python
Python多线程Threading、子线程与守护线程实例详解
Mar 24 Python
Pycharm修改python路径过程图解
May 22 Python
Python编程中Python与GIL互斥锁关系作用分析
Sep 15 Python
10款最好的Python开发编辑器
Jul 03 #Python
python基于递归解决背包问题详解
Jul 03 #Python
Python跳出多重循环的方法示例
Jul 03 #Python
Python多版本开发环境管理工具介绍
Jul 03 #Python
介绍一款python类型检查工具pyright(推荐)
Jul 03 #Python
Python flask框架post接口调用示例
Jul 03 #Python
Python3安装psycopy2以及遇到问题解决方法
Jul 03 #Python
You might like
十天学会php之第十天
2006/10/09 PHP
php获取地址栏信息的代码
2008/10/08 PHP
php合并js请求的例子
2013/11/01 PHP
PHP中soap的用法实例
2014/10/24 PHP
php可应用于面包屑导航的递归寻找家谱树实现方法
2015/02/02 PHP
IE和firefox浏览器的event事件兼容性汇总
2009/12/06 Javascript
JavaScript极简入门教程(三):数组
2014/10/25 Javascript
javascript实现校验文件上传控件实例
2015/04/20 Javascript
利用js实现禁止复制文本信息
2015/06/03 Javascript
js简单实现标签云效果实例
2015/08/06 Javascript
js实现仿网易点击弹出提示同时背景变暗效果
2015/08/13 Javascript
JS中的数组方法笔记整理
2016/07/26 Javascript
js获取浏览器和屏幕的各种宽度高度
2017/02/22 Javascript
详解vue数据渲染出现闪烁问题
2017/06/29 Javascript
vue.js 中使用(...)运算符报错的解决方法
2018/08/09 Javascript
解决angular2在双向数据绑定时[(ngModel)]无法使用的问题
2018/09/13 Javascript
Vue.js中的组件系统
2019/05/30 Javascript
angularjs1.X 重构controller 的方法小结
2019/08/15 Javascript
如何使用three.js 制作一个三维的推箱子游戏
2020/07/29 Javascript
[01:14]DOTA2亚洲邀请赛 ShowOpen
2015/02/07 DOTA
Python 机器学习库 NumPy入门教程
2018/04/19 Python
python爬虫爬取微博评论案例详解
2019/03/27 Python
Python 自动登录淘宝并保存登录信息的方法
2019/09/04 Python
Python3直接爬取图片URL并保存示例
2019/12/18 Python
如何用Python 加密文件
2020/09/10 Python
python调用摄像头的示例代码
2020/09/28 Python
Python基于tkinter canvas实现图片裁剪功能
2020/11/05 Python
迪斯尼假期(欧洲、中东及非洲):Disney Holidays EMEA
2021/02/15 全球购物
中间件的定义
2016/08/09 面试题
销售业务员岗位职责
2014/01/29 职场文书
劳动保障个人工作总结
2015/03/04 职场文书
公司催款律师函
2015/05/27 职场文书
转变工作作风心得体会
2016/01/23 职场文书
2019年感恩励志演讲稿(收藏备用)
2019/09/11 职场文书
浅谈Python项目的服务器部署
2021/04/25 Python
Android Studio实现简易进制转换计算器
2022/05/20 Java/Android