详解Python中的编码问题(encoding与decode、str与bytes)


Posted in Python onSeptember 30, 2020

1 引言

在文件读写及字符操作时,我们经常会出现下面这几种错误:

  • TypeError: write() argument must be str, not bytes

  • AttributeError: 'URLError' object has no attribute 'code'

  • UnicodeEncodeError: 'gbk' codec can't encode character '\xa0' inposition 5747: illegal multibyte sequence

这些错误一看就是编码问题, 本篇博文总结一下Python3文件读写及字符操作中的编码。

2 编码发展史

(1)ASCII编码

众所周知,计算机只能处理0和1,任何符号都转换为0和1的序列才能处理。计算机中8个位(bit)作为一个字节,所以1个字节能产生2的8次方个0和1的不同组合,也就是说1个字节做多能表示256种字符。ASCII编码就是用1个字节来存储字符,计算机最初是美国人发明的,他们的符号不多,所以还将8个0和1序列中的第一位固定为0,ASCII只能表示127个字符。

(2)GB2312编码

美国佬的符号不多,所以ASCII编码够用,但是其他国家就不行了,每个国家符号数量都不一样,就各自指定了自己的编码。例如我们中国就制定了GB2312编码。GB2312编码用2个字节表示一个字符。

(3)Unicode编码

每个国家都用自己的编码,编码一朵就容易乱套,也没法交流,所以需要一种编码把各个国家的编码都囊括进去,这就是Unicode编码的由来。所以,Unicode也被称为万国码。Unicode编码也用2个字节存储一个字符。

(4)utf-8编码

Unicode编码解决了编码不能通用的问题,但是却容易浪费内存,尤其是在存储英文的时候,例如一个字符“A”,ASCII编码只需要1个字节就够,但是Unicode编码必须要用2个字节。为了解决这一问题,就有了utf-8编码。 utf-8编码把存储英文依旧用一个字节,汉字就3个字节。特别是生僻的编程4-6字节,如果传输大量英文,utf-8作用就很明显了。
utf-8编码进行存储时有极大地优势,但是当读取到计算机内存时却不大合适,因为utf-8编码是变长的,不方便寻址和索引,所以在计算机内存中,还是转化为Unicode编码合适些。这就可以解释为什么每次读取文本时,要将编码转化为Unicode编码,而将内存中的字符写入文件存储时,要将编码转化为utf-8了。

3 str与bytes

在Python3中,文本总是为Unicode编码,在类型上为str类,也就是说Python编译器只会把Unicode编码下的二进制流显示为我们可识别的符号。二进制流在Python中也有一个专门的类用于表示这种二进制序列,那就是bytes(在Python中这个二进制序列显示为16进制,但本质还是二进制)。一个str在不同的编码下就可以转化为不同的bytes(二进制流),反之,要将bytes转化为可识别的str就必须用对应的编码,否则就会报错。

用人类语言类比一下:我们要表达“吃饭”这件事物(str),翻译为各个国家的文字后有各不相同的表示,中文表示为“吃饭”,英文表示为“eat”,这就是“吃饭”这个str在不同编码写的表示。但官方只认中文(Pythonstr只认Unicode编码),所以就必须把“eat”用英语(编码)的表示方式转化为中文的“吃饭”(Unicode编码),官方才会显示知道是吃饭这件事。

>>> s = '吃饭'
>>> type(s)
<class 'str'>
>>> s1 = s.encode(encoding='utf-8')
>>> type(s1)
<class 'bytes'>
>>> s1
b'\xe5\x90\x83\xe9\xa5\xad'
>>> s2 = s.encode(encoding='gb2312')
>>> type(s2)
<class 'bytes'> 
>>> s2
b'\xb3\xd4\xb7\xb9'
>>> s1.decode('utf-8')
'吃饭'
>>> s2.decode('gb2312')
'吃饭'

详解Python中的编码问题(encoding与decode、str与bytes)

4 文件编码

在python 3 中字符是以Unicode的形式存储的,当然这里所说的存储是指存储在计算机内存当中,如果是存储在硬盘里,Python 3的字符是以bytes形式存储,也就是说如果要将字符写入硬盘,就必须对字符进行encode。对上面这段话再解释一下,如果要将str写入文件,如果以‘w'模式写入,则要求写入的内容必须是str类型;如果以‘wb'形式写入,则要求写入的内容必须是bytes类型。文章开头出现的几种错误,就是因为写入模式与写入内容的数据类型不匹配造成的。

s1 = '你好'
#如果是以‘w'的方式写入,写入前一定要进行encoding,否则会报错 
with open('F:\\1.txt','w',encoding='utf-8') as f1:
 f1.write(s1)
s2 = s1.encode("utf-8")#转换为bytes的形式
#这时候写入方式一定要是‘wb',且一定不能加encoding参数
with open('F:\\2.txt','wb') as f2:
 f2.write(s2)

有的人会问,我在系统里面用文本编辑器打开以bytes形式写入的2.txt文件,发现里面显示的是‘你好',而不是‘b'\xe4\xbd\xa0\xe5\xa5\xbd'',因为文本文档打开2.txt时,系统会用合适的编码将其显示为对应的符号,然后才给你看到。

5 网页编码

网页编码和文件编码方法差不多,如下urlopen下载下来的网页read()且用decoding(‘utf-8')解码,那就必须以‘w'的方式写入文件。如果只是read()而不用encoding(‘utf-8')进行编码,一定要以‘wb'方式写入:

以‘w'方式写入时:

response= url_open('http://blog.csdn.net/gs_zhaoyang/article/details/13768925 ' ,timeout=5 )#自定义的一个网页下载函数
#此处以UTF-8方式进行解码,解码后的数据以unicode的方式存储在html中
html = response.read().decode('UTF-8')
print(type(html))#输出结果:<class 'str'>
#这时写入方式一定要加encoding,以encoding
# 即UTF-8的方式对二进制数据进行编码才能写入
with open('F:\DownloadAppData\html.txt',"w" , encoding='UTF-8') as f:
 f.write(html)

以‘wb'方式写入:

response= url_open('http://blog.csdn.net/gs_zhaoyang/article/details/13768925 ' ,timeout=5 )
html = response.read()#此处不需要进行解码,下载下来
print(type(html))#输出结果:<class 'bytes'>
with open('F:\DownloadAppData\html.txt',"wb" ) as f:
 f.write(html)

如果要在Python3中,对urlopen下载下来的网页进行字符操作(例如正则匹配、lxml提取),就必须decode成Unicode。

作者:奥辰

微信号:chb1137796095

Github:https://github.com/ChenHuabin321

欢迎加V交流,共同学习,共同进步!

以上就是详解Python中的编码问题(encoding与decode、str与bytes)的详细内容,更多关于python 编码的资料请关注三水点靠木其它相关文章!

Python 相关文章推荐
web.py在模板中输出美元符号的方法
Aug 26 Python
django模板语法学习之include示例详解
Dec 17 Python
Python处理文本换行符实例代码
Feb 03 Python
python3 实现一行输入,空格隔开的示例
Nov 14 Python
对python中的try、except、finally 执行顺序详解
Feb 18 Python
Python合并2个字典成1个新字典的方法(9种)
Dec 19 Python
python numpy库linspace相同间隔采样的实现
Feb 25 Python
解决python调用自己文件函数/执行函数找不到包问题
Jun 01 Python
python中对二维列表中一维列表的调用方法
Jun 07 Python
Django如何在不停机的情况下创建索引
Aug 02 Python
Python 随机按键模拟2小时
Dec 30 Python
python实现socket简单通信的示例代码
Apr 13 Python
python 生成器需注意的小问题
Sep 29 #Python
python 两种方法删除空文件夹
Sep 29 #Python
如何使用python写截屏小工具
Sep 29 #Python
python如何调用百度识图api
Sep 29 #Python
Python 串口通信的实现
Sep 29 #Python
使用py-spy解决scrapy卡死的问题方法
Sep 29 #Python
详解python对象之间的交互
Sep 29 #Python
You might like
深入理解php的MySQL连接类
2013/06/07 PHP
javascript匿名函数应用示例介绍
2014/03/07 Javascript
jQuery中size()方法用法实例
2014/12/27 Javascript
使用nodejs开发cli项目实例
2015/06/03 NodeJs
阿里巴巴技术文章分享 Javascript继承机制的实现
2016/01/14 Javascript
JavaScript实现图片轮播组件代码示例
2016/11/22 Javascript
js实现的xml对象转json功能示例
2016/12/24 Javascript
js+html5实现页面可刷新的倒计时效果
2017/07/15 Javascript
JavaScript数据结构之双向链表和双向循环链表的实现
2017/11/28 Javascript
windows下更新npm和node的方法
2017/11/30 Javascript
旺旺在线客服代码 旺旺客服代码生成器
2018/01/09 Javascript
vue.js 实现点击展开收起动画效果
2018/07/07 Javascript
在vue项目中引入highcharts图表的方法
2019/01/21 Javascript
记一次vue去除#问题处理经过小结
2019/01/24 Javascript
vue限制输入框只能输入8位整数和2位小数的代码
2019/11/06 Javascript
Vue中keep-alive 实现后退不刷新并保持滚动位置
2020/03/17 Javascript
基于JS+HTML实现弹窗提示是否确认提交功能
2020/06/17 Javascript
react antd表格中渲染一张或多张图片的实例
2020/10/28 Javascript
[03:09]显微镜下的DOTA2第一期——带你走进华丽的DOTA2世界
2014/06/20 DOTA
[02:01]BBC DOTA2国际邀请赛每日综述:八强胜者组鏖战,中国队喜忧参半
2014/07/19 DOTA
Python 实现淘宝秒杀的示例代码
2018/01/02 Python
Python cookbook(数据结构与算法)实现对不原生支持比较操作的对象排序算法示例
2018/03/15 Python
Python学习笔记之open()函数打开文件路径报错问题
2018/04/28 Python
详解python单元测试框架unittest
2018/07/02 Python
浅谈python编译pyc工程--导包问题解决
2019/03/20 Python
Django Sitemap 站点地图的实现方法
2019/04/29 Python
基于Python实现人脸自动戴口罩系统
2020/02/06 Python
Python通过2种方法输出带颜色字体
2020/03/02 Python
Python如何对XML 解析
2020/06/28 Python
Python unittest生成测试报告过程解析
2020/09/08 Python
纯css3实现的竖形无限级导航
2014/12/10 HTML / CSS
美国成衣女装品牌:CHICO’S
2016/09/19 全球购物
MIS软件工程师的面试题
2016/04/22 面试题
学习实践科学发展观心得体会
2014/09/10 职场文书
2015年学校关工委工作总结
2015/04/03 职场文书
病危通知书样本
2015/04/17 职场文书