Python3中编码与解码之Unicode与bytes的讲解


Posted in Python onFebruary 28, 2019

今天玩Python爬虫,下载一个网页,然后把所有内容写入一个txt文件中,出现错误;

TypeError: write() argument must be str, not bytes
AttributeError: 'URLError' object has no attribute 'code'
UnicodeEncodeError: 'gbk' codec can't encode character '\xa0' inposition 5747: illegal multibyte sequence

一看就是编码问题,不懂,度娘上面这方面讲得不多,感觉没说清楚,自己研究了一晚上,摸出了一点门道。

从头说起,由于各国语言文字不同,起初要在计算机中表示,就有了各种各样的编码(例如中文的gb2312)。但是这样就出现了兼容性的问题,所以就有了Unicode,也就是所谓的万国码,python3中字符串类型str就是以Unicode编码格式编码,所以我们在Python3 中看到多种语言文字的字符串而不会出现乱码。

编码是一种用一种特定的方式对抽象字符(Unicode)转换为二进制形式(bytes)进行表示,也就是python3中的encode。解码就是对用特定方式表示的二进制数据用特定的方式转化为Unicode,也就是decode。

下图就是编码的核心:

一、字符的编码:

Python对于bites类型的数据用带‘b‘前缀的单引号活双引号表示。

下面关于字符编码解码的代码很好的解释了上面的流程图:

s='你好'
print(s)#输出结果:你好
print(type(s))#输出结果:<class 'str'>
s=s.encode('UTF-8')
print(s)#输出结果:b'\xe4\xbd\xa0\xe5\xa5\xbd'
print(type(s))#输出结果:<class 'bytes'>
s=s.decode('UTF-8')
print(s)#输出结果:你好
print(type(s))#输出结果:<class 'str'>

多说一句,如果你对str类型字符进行decode会报错,同理,对bytes类型进行encode也会报错。

二、文件编码

在python 3 中字符是以Unicode的形式存储的,当然这里所说的存储是指存储在计算机内存当中,如果是存储在硬盘里,Python 3的字符是以bytes形式存储,也就是说如果要将字符写入硬盘,就必须对字符进行encode。对上面这段话再解释一下,如果要将str写入文件,如果以‘w'模式写入,则要求写入的内容必须是str类型;如果以‘wb'形式写入,则要求写入的内容必须是bytes类型。文章开头出现的集中错误,就是因为写入模式与写入内容的数据类型不匹配造成的。

s1 = '你好'
#如果是以‘w'的方式写入,写入前一定要进行encoding,否则会报错 
with open('F:\\1.txt','w',encoding='utf-8') as f1:
  f1.write(s1)
s2 = s1.encode("utf-8")#转换为bytes的形式
#这时候写入方式一定要是‘wb',且一定不能加encoding参数
with open('F:\\2.txt','wb') as f2:
  f2.write(s2)

有的人会问,我在系统里面用文本编辑器打开以bytes形式写入的2.txt文件,发现里面显示的是‘你好',而不是‘b'\xe4\xbd\xa0\xe5\xa5\xbd'',因为文本文档打开2.txt时,又会对它进行decode,然后才给你看到。

三、网页的编码

网页编码和文件编码方法差不多,如下urlopen下载下来的网页read()且用decoding(‘utf-8')解码,那就必须以‘w'的方式写入文件。如果只是read()而不用encoding(‘utf-8')进行编码,一定要以‘wb'方式写入:

以‘w'方式写入时:

response= url_open('https://3water.com/article/157034.htm ' ,timeout=5 )
#此处以UTF-8方式进行解码,解码后的数据以unicode的方式存储在html中
html = response.read().decode('UTF-8')
print(type(html))#输出结果:<class 'str'>
#这时写入方式一定要加encoding,以encoding
# 即UTF-8的方式对二进制数据进行编码才能写入
with open('F:\DownloadAppData\html.txt',"w" , encoding='UTF-8') as f:
  f.write(html)

以‘wb'方式写入:

response= url_open('https://3water.com/article/157034.htm ' ,timeout=5 )
html = response.read()#此处不需要进行解码,下载下来
print(type(html))#输出结果:<class 'bytes'>
with open('F:\DownloadAppData\html.txt',"wb" ) as f:
  f.write(html)

如果要在Python3中,对urlopen下来的网页进行字符搜索,肯定也要进行decode,例如使用lxml.etree就必须进行decode。

总结

以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作具有一定的参考学习价值,谢谢大家对三水点靠木的支持。如果你想了解更多相关内容请查看下面相关链接

Python 相关文章推荐
python脚本作为Windows服务启动代码详解
Feb 11 Python
详解Python网络框架Django和Scrapy安装指南
Apr 01 Python
OpenCV图像颜色反转算法详解
May 13 Python
详解用pyecharts Geo实现动态数据热力图城市找不到问题解决
Jun 26 Python
python Django编写接口并用Jmeter测试的方法
Jul 31 Python
Python命令行参数解析工具 docopt 安装和应用过程详解
Sep 26 Python
Python post请求实现代码实例
Feb 28 Python
关于python中的xpath解析定位
Mar 06 Python
python 的topk算法实例
Apr 02 Python
Python类super()及私有属性原理解析
Jun 15 Python
Django实现随机图形验证码的示例
Oct 15 Python
Python3利用scapy局域网实现自动多线程arp扫描功能
Jan 21 Python
Python multiprocessing多进程原理与应用示例
Feb 28 #Python
Python中的异常处理try/except/finally/raise用法分析
Feb 28 #Python
python使用phoenixdb操作hbase的方法示例
Feb 28 #Python
Python面向对象程序设计中类的定义、实例化、封装及私有变量/方法详解
Feb 28 #Python
Python类的继承、多态及获取对象信息操作详解
Feb 28 #Python
django模板结构优化的方法
Feb 28 #Python
详解python做UI界面的方法
Feb 27 #Python
You might like
全国FM电台频率大全 - 25 云南省
2020/03/11 无线电
smarty自定义函数htmlcheckboxes用法实例
2015/01/22 PHP
Yii2 RESTful中api的使用及开发实例详解
2016/07/06 PHP
Laravel最佳分割路由文件(routes.php)的方式
2016/08/04 PHP
基于jquery的仿百度的鼠标移入图片抖动效果
2010/09/17 Javascript
用JQuery实现表格隔行变色和突出显示当前行的代码
2012/02/10 Javascript
javascript制作loading动画效果 loading效果
2014/01/14 Javascript
angularjs在ng-repeat中使用ng-model遇到的问题
2016/01/21 Javascript
js+html5实现的自由落体运动效果代码
2016/01/28 Javascript
jQuery autoComplete插件两种使用方式及动态改变参数值的方法详解
2016/10/24 Javascript
关于微信上网页图片点击全屏放大效果
2016/12/19 Javascript
搭建简单的nodejs http服务器详解
2017/03/09 NodeJs
详解如何在Angular中快速定位DOM元素
2017/05/17 Javascript
详解Angular2 之 结构型指令
2017/06/21 Javascript
使用ajax的post同步执行(实现方法)
2017/12/21 Javascript
Vue路由钩子之afterEach beforeEach的区别详解
2018/07/15 Javascript
微信小程序实现点击图片旋转180度并且弹出下拉列表
2018/11/27 Javascript
微信小程序实现slideUp、slideDown滑动效果及点击空白隐藏功能示例
2018/12/11 Javascript
详解JS判断页面是在手机端还是在PC端打开的方法
2019/04/26 Javascript
Vue数字输入框组件示例代码详解
2020/01/15 Javascript
JavaScript冒泡算法原理与实现方法深入理解
2020/06/04 Javascript
vue 防止页面加载时看到花括号的解决操作
2020/11/09 Javascript
基于javascript实现移动端轮播图效果
2020/12/21 Javascript
在Python的web框架中配置app的教程
2015/04/30 Python
python3实现163邮箱SMTP发送邮件
2018/05/22 Python
python抓取京东小米8手机配置信息
2018/11/13 Python
Python基本数据结构之字典类型dict用法分析
2019/06/08 Python
配置python的编程环境之Anaconda + VSCode的教程
2020/03/29 Python
零基础学python应该从哪里入手
2020/08/11 Python
HTML5输入框下拉菜单功能的示例代码
2020/09/08 HTML / CSS
工作评语大全
2014/04/26 职场文书
师范生自荐信模板
2014/05/28 职场文书
2014年群众路线教育实践活动整改措施
2014/09/24 职场文书
同事离别感言
2015/08/04 职场文书
Apache压力测试工具的安装使用
2021/03/31 Servers
Pytest中skip skipif跳过用例详解
2021/06/30 Python