python与字符编码问题


Posted in Python onMay 24, 2019

用python2的小伙伴肯定会遇到字符编码的问题。下面对编码问题做个简单的总结,希望对各位有些帮助。

故事零:编码的定义

我们从“SOS“(国际通用求助信号)开始,它的摩斯密码的编码是:

“…---…”,想一下为什么选用S、O、S来作为求救信号?因为它简单,容易辨别且不容易发错呀!
那么,字符编码就是:

´给定一系列字符,对每个字符赋予一个数值,用数值来代表对应的字符,这一数值就是字符的编码。例如,我们给字符'A'赋予数值0x41,则0x41就是字符'A'的编码。字符编码是字符的表现、储存方式。

字符编码需要处理两件事:

(1)规定一个字符集中的字符由多少个字节表示;

(2)制定该字符集的字符编码表,即该字符集中每个字符对应的(二进制)值。

字符集:´给定一系列字符并赋予对应的编码后,所有这些字符和编码对组成的集合就是字符集。´比如,给定字符列表为{'A','B'}时,{'A'=>0x41,‘B'=>0x42}就是一个字符集。

常见字符集有:

ASCII
GB2312
GBK
GB18030
Big5
Unicode

一张图总结:

python与字符编码问题

故事一:Python2与Python3的字符串类型?

python2中的字符串有str和unicode类型,而python3中字符串只有unicode类型。比如 ‘你好'是str字符串,而 u'你好'则是unicode字符串。

故事二:decode()和encode()傻傻分不清?

decode() 是将str字符串转化为unicode字符串;encode() 是将unicode字符串转化为str字符串。所以要做一些编码的转换通常是以unicode作为中间编码做转换。如name.decode(“GB2312”)表示将GB2312编码的字符串name转换成unicode编码,name.encode(“GB2312”)表示将unicode字符串name转换成GB2312编码。

python与字符编码问题

故事三:UnicodeEncodeError: ‘ascii' codec can't encode character?

我们先看看两张图,是不是很烦?

python与字符编码问题

python与字符编码问题

下面我们看个例子:

python与字符编码问题

当用u'字符串'申明这个字符串变量时就指明了该字符串是使用unicode字符编码。当要将unicode字符串转换为str字符串或者写入文件时,python2默认使用ASCII 码保存数据,而ASCII 码无法识别大于128 的字符,于是报了上面的错误。
附ASCII码表:

python与字符编码问题

故事四:unicode是什么?

unicode可以看做一个终极的字符编码方法,它给出了地球上常用字符的二进制映射,而且所有的二进制字符串唯一地表示一个字符。但是,unicode只给出了字符和二进制串的对应关系,并没有给出存储形式。而不同字符所占用的存储空间可能不同,比如ASCII 在unicode中只占用了一个字节即可,而常用汉字在unicode中需要占用两个字节,还有一些罗马字符可能需要三个或以上字节。如果直接存储的话可能导致无法分割字符串,也无法正确解码出字符。

故事五:UTF-8横空出世?

互联网的普及,强烈要求出现一种统一的编码方式。这时候UTF-8 出场。UTF-8 是unicode在计算机中的一种实现方式。UTF-8是一种变长编码,每个字符占1-4 个字节。UTF-8 将字节分为数值位和标识位,数值位真正保存字符编码数值,标识位表示这个字节是属于哪个字符的、或者该字符占多少个字节。UTF-8 编码方法:

单字节,首位为标识位0;多字节字符首字节标志位1··10开头,字符占多少字节则有多少1,其他字节标识位10开头;

§  单字节字符: 0xxxxxxx (以0 开头标志位,数值位用x 表示)

§  双字节字符: 110xxxxx 10xxxxxx

§  三字节字符: 1110xxxx 10xxxxxx 10xxxxxx

§  四字节字符: 11110xxx 10xxxxxx 10xxxxxx10xxxxxx

unicode变为UTF-8 编码非常简单,unicode二进制按照从低到高,填充UTF-8的数值位,除去那些不真正表示数值的标识位(字节开头的0,10,110,1110和11110),顺序也是由低到高。以汉字“你”为例,可见它的unicode编码为“4f60”(01001111 01100000)。

python与字符编码问题

从“你”的unicode值范围可以看到需要三个字节,接着从低位字节向高位字节填充得到“你”的UTF-8 编码(高位没有填充完则用0补充)。

python与字符编码问题

可以看到将UTF-8 用于标记位(红色)的位去掉,合并可以得到原始的unicode码。

故事六:"unicode-escape"与"unicode-unescape"

“\u”是表示unicode的转义字符,用\uxxxx这种方式表示unicode字符就是”unicode-escape”方式。说人话:´一句话:xxx.decode(“unicode-escape”)相当于把xxx解码成unicode类型并返回。
而用”%uxxxx”的方式表示unicode字符,这种方式就是”unicode-unescape”,常用于javascript。

番外故事七:读了那么多年书,你真的了解“全半角”?

全角---指一个字符占用两个标准字符位置。
半角---指一字符占用一个标准的字符位置。
引申:写程序时双引号、冒号、小括号等为啥如此纠结?
--我国专家在制定GB2312字符集时,ASCII里本来就有的数字、标点、字母都统统重新编了两个字节长的编码。
是不是脑壳疼呀,想想我国程序员因为中英文切换牺牲了多少宝贵时间啊,啊嘿!

总结

以上所述是小编给大家介绍的python与字符编码问题 ,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对三水点靠木网站的支持!
如果你觉得本文对你有帮助,欢迎转载,烦请注明出处,谢谢!

Python 相关文章推荐
python 排列组合之itertools
Mar 20 Python
Python+Wordpress制作小说站
Apr 14 Python
Python编程实现正则删除命令功能
Aug 30 Python
Python之自动获取公网IP的实例讲解
Oct 01 Python
python 美化输出信息的实例
Oct 15 Python
使用pandas的box_plot去除异常值
Dec 10 Python
python编写微信公众号首图思路详解
Dec 13 Python
Tensorflow轻松实现XOR运算的方式
Feb 03 Python
TensorFlow的reshape操作 tf.reshape的实现
Apr 19 Python
python中openpyxl和xlsxwriter对Excel的操作方法
Mar 01 Python
python 模块重载的五种方法
Apr 24 Python
Python开发工具Pycharm的安装以及使用步骤总结
Jun 24 Python
Python读取stdin方法实例
May 24 #Python
python实践项目之监控当前联网状态详情
May 23 #Python
了解不常见但是实用的Python技巧
May 23 #Python
python远程邮件控制电脑升级版
May 23 #Python
python操作日志的封装方法(两种方法)
May 23 #Python
Python除法之传统除法、Floor除法及真除法实例详解
May 23 #Python
详解Python3除法之真除法、截断除法和下取整对比
May 23 #Python
You might like
第二节--PHP5 的对象模型
2006/11/16 PHP
PHP字符串 ==比较运算符的副作用
2009/10/21 PHP
基于php在各种web服务器的运行模式详解
2013/06/03 PHP
thinkphp学习笔记之多表查询
2014/07/28 PHP
基于JQuery+PHP编写砸金蛋中奖程序
2015/09/08 PHP
PHP实现的CURL非阻塞调用类
2018/07/26 PHP
js的event详解。
2006/09/06 Javascript
Extjs学习笔记之七 布局
2010/01/08 Javascript
纯JavaScript实现的分页插件实例
2015/07/14 Javascript
jQuery插件实现图片轮播特效
2016/06/16 Javascript
全面了解javascript三元运算符
2016/06/27 Javascript
CSS3 media queries结合jQuery实现响应式导航
2016/09/30 Javascript
jQuery的三种bind/One/Live/On事件绑定使用方法
2017/02/23 Javascript
关于vue中watch检测到不到对象属性的变化的解决方法
2018/02/08 Javascript
浅谈VueJS SSR 后端绘制内存泄漏的相关解决经验
2018/12/20 Javascript
详解原生JS回到顶部
2019/03/25 Javascript
vue+element UI实现树形表格带复选框的示例代码
2019/04/16 Javascript
vuex存值与取值的实例
2019/11/06 Javascript
js实现幻灯片轮播图
2020/08/14 Javascript
python 移动图片到另外一个文件夹的实例
2019/01/10 Python
pandas实现将日期转换成timestamp
2019/12/07 Python
python操作cfg配置文件方式
2019/12/22 Python
Python3和PyCharm安装与环境配置【图文教程】
2020/02/14 Python
html5+svg学习指南之SVG基础知识
2014/12/17 HTML / CSS
基于HTML5+CSS3实现简单的时钟效果
2017/09/11 HTML / CSS
加拿大奢华时装品牌:Mackage
2018/01/10 全球购物
荷兰最大的儿童服装店:The Kids Republic
2019/04/13 全球购物
马来西亚在线健康商店:Medipal Malaysia
2020/04/13 全球购物
Linux中如何设置Java环境变量(Ubuntu)
2016/07/24 面试题
C/C++程序员常见面试题二
2015/11/19 面试题
编程用JAVA解析XML的方式
2013/07/07 面试题
普通大学毕业生自荐信范文
2014/02/23 职场文书
节约电力资源的建议书
2014/03/12 职场文书
房屋租赁合同补充协议
2014/10/11 职场文书
会议邀请函
2015/01/30 职场文书
JavaScript数组 几个常用方法总结
2021/11/11 Javascript