python与字符编码问题


Posted in Python onMay 24, 2019

用python2的小伙伴肯定会遇到字符编码的问题。下面对编码问题做个简单的总结,希望对各位有些帮助。

故事零:编码的定义

我们从“SOS“(国际通用求助信号)开始,它的摩斯密码的编码是:

“…---…”,想一下为什么选用S、O、S来作为求救信号?因为它简单,容易辨别且不容易发错呀!
那么,字符编码就是:

´给定一系列字符,对每个字符赋予一个数值,用数值来代表对应的字符,这一数值就是字符的编码。例如,我们给字符'A'赋予数值0x41,则0x41就是字符'A'的编码。字符编码是字符的表现、储存方式。

字符编码需要处理两件事:

(1)规定一个字符集中的字符由多少个字节表示;

(2)制定该字符集的字符编码表,即该字符集中每个字符对应的(二进制)值。

字符集:´给定一系列字符并赋予对应的编码后,所有这些字符和编码对组成的集合就是字符集。´比如,给定字符列表为{'A','B'}时,{'A'=>0x41,‘B'=>0x42}就是一个字符集。

常见字符集有:

ASCII
GB2312
GBK
GB18030
Big5
Unicode

一张图总结:

python与字符编码问题

故事一:Python2与Python3的字符串类型?

python2中的字符串有str和unicode类型,而python3中字符串只有unicode类型。比如 ‘你好'是str字符串,而 u'你好'则是unicode字符串。

故事二:decode()和encode()傻傻分不清?

decode() 是将str字符串转化为unicode字符串;encode() 是将unicode字符串转化为str字符串。所以要做一些编码的转换通常是以unicode作为中间编码做转换。如name.decode(“GB2312”)表示将GB2312编码的字符串name转换成unicode编码,name.encode(“GB2312”)表示将unicode字符串name转换成GB2312编码。

python与字符编码问题

故事三:UnicodeEncodeError: ‘ascii' codec can't encode character?

我们先看看两张图,是不是很烦?

python与字符编码问题

python与字符编码问题

下面我们看个例子:

python与字符编码问题

当用u'字符串'申明这个字符串变量时就指明了该字符串是使用unicode字符编码。当要将unicode字符串转换为str字符串或者写入文件时,python2默认使用ASCII 码保存数据,而ASCII 码无法识别大于128 的字符,于是报了上面的错误。
附ASCII码表:

python与字符编码问题

故事四:unicode是什么?

unicode可以看做一个终极的字符编码方法,它给出了地球上常用字符的二进制映射,而且所有的二进制字符串唯一地表示一个字符。但是,unicode只给出了字符和二进制串的对应关系,并没有给出存储形式。而不同字符所占用的存储空间可能不同,比如ASCII 在unicode中只占用了一个字节即可,而常用汉字在unicode中需要占用两个字节,还有一些罗马字符可能需要三个或以上字节。如果直接存储的话可能导致无法分割字符串,也无法正确解码出字符。

故事五:UTF-8横空出世?

互联网的普及,强烈要求出现一种统一的编码方式。这时候UTF-8 出场。UTF-8 是unicode在计算机中的一种实现方式。UTF-8是一种变长编码,每个字符占1-4 个字节。UTF-8 将字节分为数值位和标识位,数值位真正保存字符编码数值,标识位表示这个字节是属于哪个字符的、或者该字符占多少个字节。UTF-8 编码方法:

单字节,首位为标识位0;多字节字符首字节标志位1··10开头,字符占多少字节则有多少1,其他字节标识位10开头;

§  单字节字符: 0xxxxxxx (以0 开头标志位,数值位用x 表示)

§  双字节字符: 110xxxxx 10xxxxxx

§  三字节字符: 1110xxxx 10xxxxxx 10xxxxxx

§  四字节字符: 11110xxx 10xxxxxx 10xxxxxx10xxxxxx

unicode变为UTF-8 编码非常简单,unicode二进制按照从低到高,填充UTF-8的数值位,除去那些不真正表示数值的标识位(字节开头的0,10,110,1110和11110),顺序也是由低到高。以汉字“你”为例,可见它的unicode编码为“4f60”(01001111 01100000)。

python与字符编码问题

从“你”的unicode值范围可以看到需要三个字节,接着从低位字节向高位字节填充得到“你”的UTF-8 编码(高位没有填充完则用0补充)。

python与字符编码问题

可以看到将UTF-8 用于标记位(红色)的位去掉,合并可以得到原始的unicode码。

故事六:"unicode-escape"与"unicode-unescape"

“\u”是表示unicode的转义字符,用\uxxxx这种方式表示unicode字符就是”unicode-escape”方式。说人话:´一句话:xxx.decode(“unicode-escape”)相当于把xxx解码成unicode类型并返回。
而用”%uxxxx”的方式表示unicode字符,这种方式就是”unicode-unescape”,常用于javascript。

番外故事七:读了那么多年书,你真的了解“全半角”?

全角---指一个字符占用两个标准字符位置。
半角---指一字符占用一个标准的字符位置。
引申:写程序时双引号、冒号、小括号等为啥如此纠结?
--我国专家在制定GB2312字符集时,ASCII里本来就有的数字、标点、字母都统统重新编了两个字节长的编码。
是不是脑壳疼呀,想想我国程序员因为中英文切换牺牲了多少宝贵时间啊,啊嘿!

总结

以上所述是小编给大家介绍的python与字符编码问题 ,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对三水点靠木网站的支持!
如果你觉得本文对你有帮助,欢迎转载,烦请注明出处,谢谢!

Python 相关文章推荐
python登录QQ邮箱发信的实现代码
Feb 10 Python
python多进程操作实例
Nov 21 Python
python递归计算N!的方法
May 05 Python
Python守护进程用法实例分析
Jun 04 Python
python实现在IDLE中输入多行的方法
Apr 19 Python
总结python中pass的作用
Feb 27 Python
在pytorch中对非叶节点的变量计算梯度实例
Jan 10 Python
Python面向对象程序设计之静态方法、类方法、属性方法原理与用法分析
Mar 23 Python
Python如何操作office实现自动化及win32com.client的运用
Apr 01 Python
python爬虫筛选工作实例讲解
Nov 23 Python
Python Selenium破解滑块验证码最新版(GEETEST95%以上通过率)
Jan 29 Python
python控制台打印log输出重复的解决方法
May 14 Python
Python读取stdin方法实例
May 24 #Python
python实践项目之监控当前联网状态详情
May 23 #Python
了解不常见但是实用的Python技巧
May 23 #Python
python远程邮件控制电脑升级版
May 23 #Python
python操作日志的封装方法(两种方法)
May 23 #Python
Python除法之传统除法、Floor除法及真除法实例详解
May 23 #Python
详解Python3除法之真除法、截断除法和下取整对比
May 23 #Python
You might like
解析PHP中DIRECTORY_SEPARATOR,PATH_SEPARATOR两个常量的作用
2013/06/21 PHP
详解WordPress中用于更新和获取用户选项数据的PHP函数
2016/03/08 PHP
Laravel统计一段时间间隔的数据方法
2019/10/09 PHP
设定php简写功能的方法
2019/11/28 PHP
jQuery 快速结束当前正在执行的动画
2013/11/20 Javascript
jquery设置text的值示例(设置文本框 DIV 表单值)
2014/01/06 Javascript
Javascript 实现复制(Copy)动作方法大全
2014/06/20 Javascript
Javascript使用post方法提交数据实例
2015/08/03 Javascript
vue.js中$watch的用法示例
2016/10/04 Javascript
jquery select2的使用心得(推荐)
2016/12/04 Javascript
微信小程序Server端环境配置详解(SSL, Nginx HTTPS,TLS 1.2 升级)
2017/01/12 Javascript
js模拟百度模糊搜索的实例
2017/08/04 Javascript
Angular封装表单控件及思想总结
2019/12/11 Javascript
vue组件讲解(is属性的用法)模板标签替换操作
2020/09/04 Javascript
详解Vue2的diff算法
2021/01/06 Vue.js
Python中的jquery PyQuery库使用小结
2014/05/13 Python
Python创建系统目录的方法
2015/03/11 Python
Python中字典创建、遍历、添加等实用操作技巧合集
2015/06/02 Python
Flask框架响应、调度方法和蓝图操作实例分析
2018/07/24 Python
分析运行中的 Python 进程详细解析
2019/06/22 Python
Python 数据的累加与统计的示例代码
2020/08/03 Python
Willer台湾:日本高速巴士/夜行巴士预约
2017/07/09 全球购物
帕克纽约:PARKER NY
2018/12/09 全球购物
Desigual美国官方网站:西班牙服装品牌
2019/03/29 全球购物
Vans(范斯)新西兰官方网站:美国原创极限运动品牌
2020/09/19 全球购物
Python的两道面试题
2013/06/29 面试题
会计专业推荐信
2013/10/29 职场文书
2014学校领导四风问题对照检查材料思想汇报
2014/09/22 职场文书
2014年药店店长工作总结
2014/11/17 职场文书
夫妻双方自愿离婚协议书怎么写
2014/12/01 职场文书
逃课检讨书怎么写
2015/01/01 职场文书
教师个人总结范文
2015/02/11 职场文书
个人年度总结报告
2015/03/09 职场文书
高中生个性发展自我评价
2015/03/09 职场文书
2015年环境整治工作总结
2015/05/22 职场文书
Redis 彻底禁用RDB持久化操作
2021/07/09 Redis