老生常谈Python基础之字符编码


Posted in Python onJune 14, 2017

前言

字符编码非常容易出问题,我们要牢记几句话:

1.用什么编码保存的,就要用什么编码打开

2.程序的执行,是先将文件读入内存中

3.unicode是父编码,只能encode解码成其他编码格式

utf-8,GBK这些是子8编码,只能decode编码成Unicode

一、什么是字符编码

我们知道,计算机只能识别二进制,我们平时写的代码都需要转成二进制才能被计算机识别。所以,我们写的字符怎么转换成二进制呢,这个过程实际就是通过一个标准使我们写的字符与特定数字一一对应,这个标准就称为字符编码。

字符------(字符编码)------->数字

二、字符编码发展历程

1.ASCII码

计算机起源于美国,字符编码也起源于美国。但是美国人民使用的文字只有26个字母,再加上些特殊符号就搞定了。不像我们中国,小学生就要认识几千个汉字。所以美国人民就使用了ASCII码(美国信息交换标准码)作为字符编码,一个Bytes代表一个字符,1Bytes=8bit,可以有2的8次方即256中不同的变化,但最初只用了前7位,即127个字符,已经足够美国人民使用了(当然也出于成本的考虑)。后来将拉丁文编入第8位,至此,ASCII码就被占满了,英语国家和拉丁国家可以愉快的玩耍了。

2.GBK

别看咱们中国暂时科技比不上美帝国,但是咱们有一颗积极向上的心啊,于是,在1980年,国家标准总局发布了中文使用的字符编码-->GBK,使用两个字节表示一个汉字,这样就有2的16次方即65536种组合,已经足够汉字使用了。

同时,其他国家也分别发布了自己国家的字符编码标准,如日本的shift_JIS,韩国的Euc-kr等等

3.Unicode

据说,字符编码鼎盛时期有数百种,且彼此间互相不支持,看来各国人民都很有骨气,但是这太不利于世界的互通了,于是Unicode应运而生。1994年,国际标准化组织发布了号称万国码的Unicode,用两个字节表示一个字符,有65536种组合,已经能把全世界绝大多数语言包括了。

4.utf-8

Unicode虽然好,但有一个问题,本来用一个字节就能表示的英文,现在要用两个字节,存储空间平白多出一倍,这显然是不完美的,所以又产生了utf-8,对英文字符只用1个字节,对中文字符用3个字节来表示。 

5.Unicode所有字符都是两个字节,简单粗暴,字符转换成数字的速度快,但是占用存储空间大

utf-8对不同的字符采用不用的长度表示,节省空间,但是转换效率不如Unicode快

内存中使用的字符编码是Unicode,内存就是为了加快速度的,所以宁肯牺牲一点空间,也要保证速度

硬盘和网络传输是用utf-8的,因为磁盘I/O或者网络I/O延迟要远大于utf-8的转换效率,并且在网络传输中应该尽可能节省带宽

三、Python解释器执行

第一阶段:python解释器启动,此时就相当于启动了一个文本编辑器

第二阶段:python解释器作为文本编辑器,去打开t.py文件,从硬盘上将t.py的文件内容读入到内存中

第三阶段:python解释器解释执行刚刚加载到内存中t.py的代码

其中第二阶段,t.py文件在保存时有一个字符编码,在Python解释器打开文件时也要指定一样的编码方式(Python2默认的编码方式是ASCII,Python3默认是utf-8),如果文件保存的编码格式和Python解释器默认的编码方式不一样,就要在文件的开头写上#coding: ,来告诉python解释器不要用自己默认的编码方式来读,而是要用头文件指定的方式来读文件,这样才不会出错。

第三阶段:读取已经加载到内存中的代码(默认是Unicode),然后执行,执行过程中如果碰到类似定义变量的操作,就会在内存中开辟一块新的内存空间。此时注意,新开辟的内存空间不一定也是Unicode,用户可以在定义变量的时候指定编码方式,定义时开辟的内存空间,也只是一块空间而已,可以存放任意编码格式的代码。以Python3为例

老生常谈Python基础之字符编码

四、编码解码

保存文件是把内存中的文件保存到硬盘上

读文件是把硬盘中的文件读到内存

老生常谈Python基础之字符编码

Unicode是父编码,utf-8,GBK这些是子编码,如果子码想转换成其他编码,必须要先转换成父编码,再由父编码转换成其他子编码

解码就是decode,是由子码转成父码Unicode的过程

编码就是encode,是由Unicode转换成其他编码的过程

之前说过,文件读入内存中,就成了Unicode编码(当然这是默认情况,也可以根据指令更改),从硬盘读文件的过程就是把硬盘中的utf-8解码成Unicode

文件保存时,就是由内存保存到硬盘的过程,硬盘中是utf-8的编码方式,需要由Unicode编码成utf-8

五、Python2和Python3的区别

1.Python2的默认编码方式是ASCII,打开utf-8保存的文件时会报错,应该在头文件上加#coding : utf-8

Python2中的str被识别为Bytes,所以Python2中的str是被编码后的结果,其实会默认做一件事,就是在str前面加一个u,先转换成Unicode,在encode成bytes

Python2中有两种字符串类型,str和Unicode,str可以通过在前面加个‘u'来转换成Unicode

2.python 3 的默认编码方式是utf-8,可以直接打开用utf-8保存的文件

Python3中的str被识别成Unicode

Python3中也有两种字符串类型(bytes和str),但bytes就是bytes,str是unicode

六、打印到终端

首先要知道,Windows的终端的默认编码方式是GBK

终端也是应用程序,是运行在内存中的,所以我们用print()打印的过程,是从内存中到内存中。所以对于unicode,怎么打印都不会出错,但是Python2中除了加‘u'的字符串外,其他的字符串是Bytes,此时终端中是GBK编码,而Python2中是指定的utf-8或者默认的ascii码时,在终端中打印就会出错。

这些是我目前的理解,如果我以后意识到错误或者有表述不清的地方,再来修改。唉,字符编码是个坑啊

以上这篇老生常谈Python基础之字符编码就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
pymongo给mongodb创建索引的简单实现方法
May 06 Python
python opencv判断图像是否为空的实例
Jan 26 Python
网易有道2017内推编程题 洗牌(python)
Jun 19 Python
处理python中多线程与多进程中的数据共享问题
Jul 28 Python
Python环境Pillow( PIL )图像处理工具使用解析
Sep 12 Python
python 实现线程之间的通信示例
Feb 14 Python
Python处理PDF与CDF实例
Feb 26 Python
jupyter 导入csv文件方式
Apr 21 Python
Keras在训练期间可视化训练误差和测试误差实例
Jun 16 Python
selenium切换标签页解决get超时问题的完整代码
Aug 30 Python
python中的split、rsplit、splitlines用法说明
Oct 23 Python
对pytorch中x = x.view(x.size(0), -1) 的理解说明
Mar 03 Python
python3实现TCP协议的简单服务器和客户端案例(分享)
Jun 14 #Python
Python之re操作方法(详解)
Jun 14 #Python
Python之py2exe打包工具详解
Jun 14 #Python
使用XML库的方式,实现RPC通信的方法(推荐)
Jun 14 #Python
python实现单线程多任务非阻塞TCP服务端
Jun 13 #Python
Python实现的下载网页源码功能示例
Jun 13 #Python
Python爬虫DOTA排行榜爬取实例(分享)
Jun 13 #Python
You might like
Cappuccino 卡布其诺咖啡之制作
2021/03/03 冲泡冲煮
PHP 批量删除 sql语句
2009/06/05 PHP
PHP获取163、gmail、126等邮箱联系人地址【已测试2009.10.10】
2009/10/11 PHP
php使用sql数据库 获取字段问题介绍
2013/08/12 PHP
php lcg_value与mt_rand生成0~1随机小数的效果对比分析
2017/04/05 PHP
PHP 7安装调试工具Xdebug扩展的方法教程
2017/06/17 PHP
[原创]PHP实现SQL语句格式化功能的方法
2017/07/28 PHP
PHP代码覆盖率统计详解
2020/07/22 PHP
使用js解决由border属性引起的div宽度问题
2013/11/26 Javascript
javascript实现动态加载CSS
2015/01/26 Javascript
全面解析Bootstrap表单使用方法(表单控件状态)
2015/11/24 Javascript
基于jquery实现ajax无刷新评论
2020/08/19 Javascript
利用JS提交表单的几种方法和验证(必看篇)
2016/09/17 Javascript
谈谈因Vue.js引发关于getter和setter的思考
2016/12/02 Javascript
js实现选项卡内容切换以及折叠和展开效果【推荐】
2017/01/08 Javascript
JS 组件系列之 bootstrap treegrid 组件封装过程
2017/04/28 Javascript
jquery实现用户登陆界面(示例讲解)
2017/09/06 jQuery
JS+canvas绘制的动态机械表动画效果
2017/09/12 Javascript
JavaScript常见JSON操作实例分析
2018/08/08 Javascript
JS实现打砖块游戏
2020/02/14 Javascript
使用matplotlib画散点图的方法
2018/05/25 Python
Django数据库连接丢失问题的解决方法
2018/12/29 Python
python3实现微型的web服务器
2019/09/03 Python
Python从列表推导到zip()函数的5种技巧总结
2019/10/23 Python
如何使用Python破解ZIP或RAR压缩文件密码
2020/01/09 Python
pytorch实现CNN卷积神经网络
2020/02/19 Python
洛杉矶生活休闲而精致的基础品牌:Mika Jaymes
2018/01/07 全球购物
美国波西米亚风格精品店:South Moon Under
2019/10/26 全球购物
喝酒检查书范文
2014/02/23 职场文书
机关道德讲堂实施方案
2014/03/15 职场文书
爱心倡议书范文
2014/05/12 职场文书
保险公司开门红口号
2014/06/21 职场文书
大学生在校表现评语
2014/12/31 职场文书
个人廉政承诺书
2015/04/28 职场文书
证婚人致辞精选
2015/07/28 职场文书
python playwright 自动等待和断言详解
2021/11/27 Python