python与字符编码问题


Posted in Python onMay 24, 2019

用python2的小伙伴肯定会遇到字符编码的问题。下面对编码问题做个简单的总结,希望对各位有些帮助。

故事零:编码的定义

我们从“SOS“(国际通用求助信号)开始,它的摩斯密码的编码是:

“…---…”,想一下为什么选用S、O、S来作为求救信号?因为它简单,容易辨别且不容易发错呀!
那么,字符编码就是:

´给定一系列字符,对每个字符赋予一个数值,用数值来代表对应的字符,这一数值就是字符的编码。例如,我们给字符'A'赋予数值0x41,则0x41就是字符'A'的编码。字符编码是字符的表现、储存方式。

字符编码需要处理两件事:

(1)规定一个字符集中的字符由多少个字节表示;

(2)制定该字符集的字符编码表,即该字符集中每个字符对应的(二进制)值。

字符集:´给定一系列字符并赋予对应的编码后,所有这些字符和编码对组成的集合就是字符集。´比如,给定字符列表为{'A','B'}时,{'A'=>0x41,‘B'=>0x42}就是一个字符集。

常见字符集有:

ASCII
GB2312
GBK
GB18030
Big5
Unicode

一张图总结:

python与字符编码问题

故事一:Python2与Python3的字符串类型?

python2中的字符串有str和unicode类型,而python3中字符串只有unicode类型。比如 ‘你好'是str字符串,而 u'你好'则是unicode字符串。

故事二:decode()和encode()傻傻分不清?

decode() 是将str字符串转化为unicode字符串;encode() 是将unicode字符串转化为str字符串。所以要做一些编码的转换通常是以unicode作为中间编码做转换。如name.decode(“GB2312”)表示将GB2312编码的字符串name转换成unicode编码,name.encode(“GB2312”)表示将unicode字符串name转换成GB2312编码。

python与字符编码问题

故事三:UnicodeEncodeError: ‘ascii' codec can't encode character?

我们先看看两张图,是不是很烦?

python与字符编码问题

python与字符编码问题

下面我们看个例子:

python与字符编码问题

当用u'字符串'申明这个字符串变量时就指明了该字符串是使用unicode字符编码。当要将unicode字符串转换为str字符串或者写入文件时,python2默认使用ASCII 码保存数据,而ASCII 码无法识别大于128 的字符,于是报了上面的错误。
附ASCII码表:

python与字符编码问题

故事四:unicode是什么?

unicode可以看做一个终极的字符编码方法,它给出了地球上常用字符的二进制映射,而且所有的二进制字符串唯一地表示一个字符。但是,unicode只给出了字符和二进制串的对应关系,并没有给出存储形式。而不同字符所占用的存储空间可能不同,比如ASCII 在unicode中只占用了一个字节即可,而常用汉字在unicode中需要占用两个字节,还有一些罗马字符可能需要三个或以上字节。如果直接存储的话可能导致无法分割字符串,也无法正确解码出字符。

故事五:UTF-8横空出世?

互联网的普及,强烈要求出现一种统一的编码方式。这时候UTF-8 出场。UTF-8 是unicode在计算机中的一种实现方式。UTF-8是一种变长编码,每个字符占1-4 个字节。UTF-8 将字节分为数值位和标识位,数值位真正保存字符编码数值,标识位表示这个字节是属于哪个字符的、或者该字符占多少个字节。UTF-8 编码方法:

单字节,首位为标识位0;多字节字符首字节标志位1··10开头,字符占多少字节则有多少1,其他字节标识位10开头;

§  单字节字符: 0xxxxxxx (以0 开头标志位,数值位用x 表示)

§  双字节字符: 110xxxxx 10xxxxxx

§  三字节字符: 1110xxxx 10xxxxxx 10xxxxxx

§  四字节字符: 11110xxx 10xxxxxx 10xxxxxx10xxxxxx

unicode变为UTF-8 编码非常简单,unicode二进制按照从低到高,填充UTF-8的数值位,除去那些不真正表示数值的标识位(字节开头的0,10,110,1110和11110),顺序也是由低到高。以汉字“你”为例,可见它的unicode编码为“4f60”(01001111 01100000)。

python与字符编码问题

从“你”的unicode值范围可以看到需要三个字节,接着从低位字节向高位字节填充得到“你”的UTF-8 编码(高位没有填充完则用0补充)。

python与字符编码问题

可以看到将UTF-8 用于标记位(红色)的位去掉,合并可以得到原始的unicode码。

故事六:"unicode-escape"与"unicode-unescape"

“\u”是表示unicode的转义字符,用\uxxxx这种方式表示unicode字符就是”unicode-escape”方式。说人话:´一句话:xxx.decode(“unicode-escape”)相当于把xxx解码成unicode类型并返回。
而用”%uxxxx”的方式表示unicode字符,这种方式就是”unicode-unescape”,常用于javascript。

番外故事七:读了那么多年书,你真的了解“全半角”?

全角---指一个字符占用两个标准字符位置。
半角---指一字符占用一个标准的字符位置。
引申:写程序时双引号、冒号、小括号等为啥如此纠结?
--我国专家在制定GB2312字符集时,ASCII里本来就有的数字、标点、字母都统统重新编了两个字节长的编码。
是不是脑壳疼呀,想想我国程序员因为中英文切换牺牲了多少宝贵时间啊,啊嘿!

总结

以上所述是小编给大家介绍的python与字符编码问题 ,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对三水点靠木网站的支持!
如果你觉得本文对你有帮助,欢迎转载,烦请注明出处,谢谢!

Python 相关文章推荐
Python中的字典遍历备忘
Jan 17 Python
用Python编写脚本使IE实现代理上网的教程
Apr 23 Python
详解Python中的序列化与反序列化的使用
Jun 30 Python
利用Python操作消息队列RabbitMQ的方法教程
Jul 19 Python
Python数据拟合与广义线性回归算法学习
Dec 22 Python
Python学习之Anaconda的使用与配置方法
Jan 04 Python
用Python获取摄像头并实时控制人脸的实现示例
Jul 11 Python
Python使用正则实现计算字符串算式
Dec 29 Python
keras中的History对象用法
Jun 19 Python
如何让PyQt5中QWebEngineView与JavaScript交互
Oct 21 Python
用Python爬虫破解滑动验证码的案例解析
May 06 Python
整理Python中常用的conda命令操作
Jun 15 Python
Python读取stdin方法实例
May 24 #Python
python实践项目之监控当前联网状态详情
May 23 #Python
了解不常见但是实用的Python技巧
May 23 #Python
python远程邮件控制电脑升级版
May 23 #Python
python操作日志的封装方法(两种方法)
May 23 #Python
Python除法之传统除法、Floor除法及真除法实例详解
May 23 #Python
详解Python3除法之真除法、截断除法和下取整对比
May 23 #Python
You might like
Javascript 阻止javascript事件冒泡,获取控件ID值
2009/06/27 Javascript
基于Jquery的动态添加控件并取值的实现代码
2010/09/24 Javascript
利用json获取字符出现次数的代码
2012/03/22 Javascript
JS获取图片实际宽高及根据图片大小进行自适应
2013/08/11 Javascript
Node.js中调用mysql存储过程示例
2014/12/20 Javascript
javascript面向对象程序设计(一)
2015/01/29 Javascript
JavaScript如何实现在文本框(密码框)输入提示语
2015/12/25 Javascript
JavaScript+html5 canvas制作的圆中圆效果实例
2016/01/27 Javascript
javascript实现瀑布流动态加载图片原理
2016/08/12 Javascript
jQuery Easyui使用(一)之可折叠面板的布局手风琴菜单
2016/08/17 Javascript
vue.js实现仿原生ios时间选择组件实例代码
2016/12/21 Javascript
jquery 正整数数字校验正则表达式
2017/01/10 Javascript
利用ES6的Promise.all实现至少请求多长时间的实例
2017/08/28 Javascript
关于微信小程序获取小程序码并接受buffer流保存为图片的方法
2019/06/07 Javascript
JavaScript获取时区实现过程解析
2020/09/24 Javascript
基于vuex实现购物车功能
2021/01/10 Vue.js
Python中的random()方法的使用介绍
2015/05/15 Python
python操作ssh实现服务器日志下载的方法
2015/06/03 Python
200行自定义python异步非阻塞Web框架
2017/03/15 Python
Python实现图片转字符画的示例代码
2017/08/21 Python
python实现拓扑排序的基本教程
2018/03/11 Python
单利模式及python实现方式详解
2018/03/20 Python
python+pandas生成指定日期和重采样的方法
2018/04/11 Python
详解Python如何生成词云的方法
2018/06/01 Python
Python数据分析模块pandas用法详解
2019/09/04 Python
Python新手学习标准库模块命名
2020/05/29 Python
美国顶尖折扣时尚购物网:Bluefly
2016/08/28 全球购物
创建服务型党组织实施方案
2014/02/25 职场文书
合作协议书怎么写
2014/04/18 职场文书
公务员中国梦演讲稿
2014/08/19 职场文书
公司领导班子群众路线四风问题对照检查材料
2014/10/02 职场文书
2014教师年度思想工作总结
2014/11/10 职场文书
团员自我评价范文
2015/03/10 职场文书
2020优秀员工演讲稿(三篇)
2019/10/17 职场文书
纯html+css实现打字效果
2021/08/02 HTML / CSS
使用Mysql计算地址的经纬度距离和实时位置信息
2022/04/29 MySQL