详解Python中的编码问题(encoding与decode、str与bytes)


Posted in Python onSeptember 30, 2020

1 引言

在文件读写及字符操作时,我们经常会出现下面这几种错误:

  • TypeError: write() argument must be str, not bytes

  • AttributeError: 'URLError' object has no attribute 'code'

  • UnicodeEncodeError: 'gbk' codec can't encode character '\xa0' inposition 5747: illegal multibyte sequence

这些错误一看就是编码问题, 本篇博文总结一下Python3文件读写及字符操作中的编码。

2 编码发展史

(1)ASCII编码

众所周知,计算机只能处理0和1,任何符号都转换为0和1的序列才能处理。计算机中8个位(bit)作为一个字节,所以1个字节能产生2的8次方个0和1的不同组合,也就是说1个字节做多能表示256种字符。ASCII编码就是用1个字节来存储字符,计算机最初是美国人发明的,他们的符号不多,所以还将8个0和1序列中的第一位固定为0,ASCII只能表示127个字符。

(2)GB2312编码

美国佬的符号不多,所以ASCII编码够用,但是其他国家就不行了,每个国家符号数量都不一样,就各自指定了自己的编码。例如我们中国就制定了GB2312编码。GB2312编码用2个字节表示一个字符。

(3)Unicode编码

每个国家都用自己的编码,编码一朵就容易乱套,也没法交流,所以需要一种编码把各个国家的编码都囊括进去,这就是Unicode编码的由来。所以,Unicode也被称为万国码。Unicode编码也用2个字节存储一个字符。

(4)utf-8编码

Unicode编码解决了编码不能通用的问题,但是却容易浪费内存,尤其是在存储英文的时候,例如一个字符“A”,ASCII编码只需要1个字节就够,但是Unicode编码必须要用2个字节。为了解决这一问题,就有了utf-8编码。 utf-8编码把存储英文依旧用一个字节,汉字就3个字节。特别是生僻的编程4-6字节,如果传输大量英文,utf-8作用就很明显了。
utf-8编码进行存储时有极大地优势,但是当读取到计算机内存时却不大合适,因为utf-8编码是变长的,不方便寻址和索引,所以在计算机内存中,还是转化为Unicode编码合适些。这就可以解释为什么每次读取文本时,要将编码转化为Unicode编码,而将内存中的字符写入文件存储时,要将编码转化为utf-8了。

3 str与bytes

在Python3中,文本总是为Unicode编码,在类型上为str类,也就是说Python编译器只会把Unicode编码下的二进制流显示为我们可识别的符号。二进制流在Python中也有一个专门的类用于表示这种二进制序列,那就是bytes(在Python中这个二进制序列显示为16进制,但本质还是二进制)。一个str在不同的编码下就可以转化为不同的bytes(二进制流),反之,要将bytes转化为可识别的str就必须用对应的编码,否则就会报错。

用人类语言类比一下:我们要表达“吃饭”这件事物(str),翻译为各个国家的文字后有各不相同的表示,中文表示为“吃饭”,英文表示为“eat”,这就是“吃饭”这个str在不同编码写的表示。但官方只认中文(Pythonstr只认Unicode编码),所以就必须把“eat”用英语(编码)的表示方式转化为中文的“吃饭”(Unicode编码),官方才会显示知道是吃饭这件事。

>>> s = '吃饭'
>>> type(s)
<class 'str'>
>>> s1 = s.encode(encoding='utf-8')
>>> type(s1)
<class 'bytes'>
>>> s1
b'\xe5\x90\x83\xe9\xa5\xad'
>>> s2 = s.encode(encoding='gb2312')
>>> type(s2)
<class 'bytes'> 
>>> s2
b'\xb3\xd4\xb7\xb9'
>>> s1.decode('utf-8')
'吃饭'
>>> s2.decode('gb2312')
'吃饭'

详解Python中的编码问题(encoding与decode、str与bytes)

4 文件编码

在python 3 中字符是以Unicode的形式存储的,当然这里所说的存储是指存储在计算机内存当中,如果是存储在硬盘里,Python 3的字符是以bytes形式存储,也就是说如果要将字符写入硬盘,就必须对字符进行encode。对上面这段话再解释一下,如果要将str写入文件,如果以‘w'模式写入,则要求写入的内容必须是str类型;如果以‘wb'形式写入,则要求写入的内容必须是bytes类型。文章开头出现的几种错误,就是因为写入模式与写入内容的数据类型不匹配造成的。

s1 = '你好'
#如果是以‘w'的方式写入,写入前一定要进行encoding,否则会报错 
with open('F:\\1.txt','w',encoding='utf-8') as f1:
 f1.write(s1)
s2 = s1.encode("utf-8")#转换为bytes的形式
#这时候写入方式一定要是‘wb',且一定不能加encoding参数
with open('F:\\2.txt','wb') as f2:
 f2.write(s2)

有的人会问,我在系统里面用文本编辑器打开以bytes形式写入的2.txt文件,发现里面显示的是‘你好',而不是‘b'\xe4\xbd\xa0\xe5\xa5\xbd'',因为文本文档打开2.txt时,系统会用合适的编码将其显示为对应的符号,然后才给你看到。

5 网页编码

网页编码和文件编码方法差不多,如下urlopen下载下来的网页read()且用decoding(‘utf-8')解码,那就必须以‘w'的方式写入文件。如果只是read()而不用encoding(‘utf-8')进行编码,一定要以‘wb'方式写入:

以‘w'方式写入时:

response= url_open('http://blog.csdn.net/gs_zhaoyang/article/details/13768925 ' ,timeout=5 )#自定义的一个网页下载函数
#此处以UTF-8方式进行解码,解码后的数据以unicode的方式存储在html中
html = response.read().decode('UTF-8')
print(type(html))#输出结果:<class 'str'>
#这时写入方式一定要加encoding,以encoding
# 即UTF-8的方式对二进制数据进行编码才能写入
with open('F:\DownloadAppData\html.txt',"w" , encoding='UTF-8') as f:
 f.write(html)

以‘wb'方式写入:

response= url_open('http://blog.csdn.net/gs_zhaoyang/article/details/13768925 ' ,timeout=5 )
html = response.read()#此处不需要进行解码,下载下来
print(type(html))#输出结果:<class 'bytes'>
with open('F:\DownloadAppData\html.txt',"wb" ) as f:
 f.write(html)

如果要在Python3中,对urlopen下载下来的网页进行字符操作(例如正则匹配、lxml提取),就必须decode成Unicode。

作者:奥辰

微信号:chb1137796095

Github:https://github.com/ChenHuabin321

欢迎加V交流,共同学习,共同进步!

以上就是详解Python中的编码问题(encoding与decode、str与bytes)的详细内容,更多关于python 编码的资料请关注三水点靠木其它相关文章!

Python 相关文章推荐
Python中使用items()方法返回字典元素对的教程
May 21 Python
Python使用smtplib模块发送电子邮件的流程详解
Jun 27 Python
python中关于for循环的碎碎念
Jun 30 Python
Python中enumerate()函数编写更Pythonic的循环
Mar 06 Python
在python中实现对list求和及求积
Nov 14 Python
django的settings中设置中文支持的实现
Apr 28 Python
Python学习笔记之读取文件、OS模块、异常处理、with as语法示例
Jun 04 Python
OpenCV3.0+Python3.6实现特定颜色的物体追踪
Jul 23 Python
Django中提示消息messages的设置方式
Nov 15 Python
Jupyter notebook快速入门教程(推荐)
May 18 Python
Python列表的深复制和浅复制示例详解
Feb 12 Python
Pytorch中使用ImageFolder读取数据集时忽略特定文件
Mar 23 Python
python 生成器需注意的小问题
Sep 29 #Python
python 两种方法删除空文件夹
Sep 29 #Python
如何使用python写截屏小工具
Sep 29 #Python
python如何调用百度识图api
Sep 29 #Python
Python 串口通信的实现
Sep 29 #Python
使用py-spy解决scrapy卡死的问题方法
Sep 29 #Python
详解python对象之间的交互
Sep 29 #Python
You might like
php ckeditor上传图片文件名乱码解决方法
2013/11/15 PHP
php实现获取文章内容第一张图片的方法
2014/11/04 PHP
php打造智能化的柱状图程序,用于报表等
2015/06/19 PHP
PHP命令行执行整合pathinfo模拟定时任务实例
2016/08/12 PHP
CakePHP框架Model函数定义方法示例
2017/08/04 PHP
制作jquery遮罩层效果导航菜单代码分享
2013/12/25 Javascript
JS实现很酷的EMAIL地址添加功能实例
2015/02/28 Javascript
AngularJS自定义插件实现网站用户引导功能示例
2016/11/07 Javascript
JavaScript动态数量的文件上传控件
2016/11/18 Javascript
详解微信小程序开发—你期待的分享功能来了,微信小程序序新增5大功能
2016/12/23 Javascript
ionic实现底部分享功能
2017/05/11 Javascript
bootstrap手风琴折叠示例代码分享
2017/05/22 Javascript
简单谈谈js的数据类型
2017/09/25 Javascript
AngularJS表单验证功能
2017/10/19 Javascript
nodejs使用express获取get和post传值及session验证的方法
2017/11/09 NodeJs
浅析Vue项目中使用keep-Alive步骤
2018/07/27 Javascript
Vue v-for循环之@click点击事件获取元素示例
2019/11/09 Javascript
Vue实现剪切板图片压缩功能
2020/02/04 Javascript
[01:45]DOTA2新英雄“神谕者”全方位展示
2014/11/21 DOTA
python中的reduce内建函数使用方法指南
2014/08/31 Python
Python利用QQ邮箱发送邮件的实现方法(分享)
2017/06/09 Python
对python list 遍历删除的正确方法详解
2018/06/29 Python
Windows下python3.6.4安装教程
2018/07/31 Python
Python使用爬虫抓取美女图片并保存到本地的方法【测试可用】
2018/08/30 Python
python判断计算机是否有网络连接的实例
2018/12/15 Python
实现Python与STM32通信方式
2019/12/18 Python
flask框架url与重定向操作实例详解
2020/01/25 Python
挪威手表购物网站:Klokker
2016/09/19 全球购物
weblogic面试题
2016/03/07 面试题
公司庆典邀请函范文
2014/01/13 职场文书
四个太阳教学反思
2014/02/01 职场文书
记帐员岗位责任制
2014/02/08 职场文书
班风口号
2014/06/18 职场文书
离退休人员聘用协议书
2014/11/24 职场文书
《包身工》教学反思
2016/02/23 职场文书
分析SQL窗口函数之排名窗口函数
2022/04/21 Oracle