python中字符串的编码与解码详析


Posted in Python onDecember 03, 2020

1. 常用的编码

  • ASCII:只能表示一些字母,数字和特殊的字符,占一个字节
  • GBK:国家简体中文字符集和繁体字符集,兼容ASCII,占两个字节
  • Unicode:能够表示全世界上所有的字符,Unicode有人说占4个字节也有人说占2个字节,但中文占2个字节
  • UTF-8:Unicode的压缩版,占1~3个字节,其中中文占三个字节

2.补充:计算机表示的单位:

bit: 位,计算机最小的表示单位

bytes:字节,最小的存储单位,1bytes=8bit,1bytes简写成1B

1KB = 1024B

1MB = 1024KB

1GB = 1024MB

1TB = 1024GB

......

3.ASCII编码

ASCII编码是基于拉丁字母一套编码,主要是显示现代英语和其西欧语言,是最早通用的单字节编码系统,具体ASCII对照表如下:

python中字符串的编码与解码详析

在对照表中需要记住的是大写字母A的编码是65,小写字母a的编码的97即可。

在python中可以使用chr和ord方法进行转换:

# 将数字类型转换成ASCII对应的字符
print(chr(97)) # a
# 将数字转换成对应的数据
print(ord("A")) # 65
# 或者使用

但随着事件的发展,ASCII编码扩展到了256个字符,编码 对照表如下:

python中字符串的编码与解码详析

其中后128个字符称为扩展ASCII码

2.GBK和GB2312编码

由于ASCII编码只能由256个字符组成,然只能由1个字节来表示中文是不可能的,因此制定了GB2312编码,用来表示中文的对照表

4.Unicode

为了解决各个国家编码冲突的问题,Unicode编码就因此而生,Unicode把所有语言都统一到一套编码里面,就会避免冲突,产生乱码。

Unicodeb标准在不断发展,最常用的是用两个字节表示一个字符,也有的字符是4个字节,但是中文是占两个字节。如果统一成Unicode编码,在存储和传输上就不划算

5.UTF-8编码

为了解决Unicode编码存储过大的问题,就推出了可变长编码UTF-8,UTF-8编码把一个Unicode字符依据不同的数据大小编程1~6个字节,其中中文就占3个字节

6.编码和解码

1.编码操作

可以通过encode进行编码,其中语法如下:

对字符串进行ASCII编码(只能转换数字,英文字母和一些符号)

# 方式1: 通过bytes方法
bytes('a', 'ASCII')
# 方式2: 通过encode方法进行
'a'.encode('ASCII')

将字符串转换成gbk编码格式

# 方式1: 通过encode方法进行
print('你好'.encode('GBK')) # 编码之后的结果为:b'\xc4\xe3\xba\xc3'
# 方式2: 通过bytes类型
print(bytes('我爱你', 'GBK')) # 编码之后的结果为:b'\xce\xd2\xb0\xae\xc4\xe3'

将字符串转换成Unicode编码格式

# 方式1: 通过encode方法进行
print('你好'.encode('unicode_escape')) # 编码之后的结果为:b'\\u4f60\\u597d'
# 方式2: 通过bytes类型
print(bytes('我爱你', 'unicode_escape')) # 编码之后的结果为:b'\\u6211\\u7231\\u4f60'

将字符串转换成UTF-8编码格式

# 方式1: 通过encode方法进行
print('你好'.encode('utf-8')) # 编码之后的结果为:b'\xe4\xbd\xa0\xe5\xa5\xbd'
# 方式2: 通过bytes类型
print(bytes('我爱你', 'utf-8')) # 编码之后的结果为:b'\xe6\x88\x91\xe7\x88\xb1\xe4\xbd\xa0'

2.解码操作

将GBK编码格式转换成字符串

# 通过decode方法解码
print(b'\xc4\xe3\xba\xc3\xce\xd2\xb0\xae\xc4\xe3'.decode('GBK')) # 解码之后结果为:你好我爱你

将UTF-8编码格式转换成字符串

# 通过decode方法解码
print(b'\xe4\xbd\xa0\xe5\xa5\xbd\xe6\x88\x91\xe7\x88\xb1\xe4\xbd\xa0'.decode('utf-8')) # 解码之后结果为:你好我爱你

将Uniconde编码格式转换成字符串

# 通过decode方法解码
print(b'\\u4f60\\u597d\\u6211\\u7231\\u4f60'.decode('GBK')) # 解码之后结果为:你好我爱你

到此这篇关于python中字符串的编码与解码的文章就介绍到这了,更多相关python字符串的编码与解码内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Python 相关文章推荐
理解Python中的类与实例
Apr 27 Python
node.js获取参数的常用方法(总结)
May 29 Python
python中Apriori算法实现讲解
Dec 10 Python
高效使用Python字典的清单
Apr 04 Python
使用python Fabric动态修改远程机器hosts的方法
Oct 26 Python
在PyCharm下打包*.py程序成.exe的方法
Nov 29 Python
python获取磁盘号下盘符步骤详解
Jun 19 Python
pandas的to_datetime时间转换使用及学习心得
Aug 11 Python
Python缓存技术实现过程详解
Sep 25 Python
Python3 操作 MySQL 插入一条数据并返回主键 id的实例
Mar 02 Python
Python爬虫入门教程02之笔趣阁小说爬取
Jan 24 Python
深入理解Pytorch微调torchvision模型
Nov 11 Python
python 爬取百度文库并下载(免费文章限定)
Dec 04 #Python
filter使用python3代码进行迭代元素的实例详解
Dec 03 #Python
python3代码输出嵌套式对象实例详解
Dec 03 #Python
python3代码中实现加法重载的实例
Dec 03 #Python
python判断all函数输出结果是否为true的方法
Dec 03 #Python
django中cookiecutter的使用教程
Dec 03 #Python
Python批量删除mysql中千万级大量数据的脚本分享
Dec 03 #Python
You might like
在PHP中利用XML技术构造远程服务(上)
2006/10/09 PHP
PHP+DBM的同学录程序(5)
2006/10/09 PHP
php部分常见问题总结
2008/03/27 PHP
非常精妙的PHP递归调用与静态变量使用
2012/12/16 PHP
php后台如何避免用户直接进入方法实例
2013/10/15 PHP
php输出金字塔的2种实现方法
2014/12/16 PHP
Ubuntu下安装PHP的mongodb扩展操作命令
2015/07/04 PHP
详解php比较操作符的安全问题
2015/12/03 PHP
PHP图片添加水印功能示例小结
2016/10/03 PHP
详解PHP数据压缩、加解密(pack, unpack)
2016/12/17 PHP
php设计模式之原型模式分析【星际争霸游戏案例】
2020/03/23 PHP
js onkeypress与onkeydown 事件区别详细说明
2012/12/13 Javascript
jquery仿京东导航/仿淘宝商城左侧分类导航下拉菜单效果
2013/04/24 Javascript
jQuery老黄历完整实现方法
2015/01/16 Javascript
JavaScript用select实现日期控件
2015/07/17 Javascript
深入浅析JavaScript中的作用域和上下文
2016/03/26 Javascript
js显示动态时间的方法详解
2016/08/20 Javascript
BootStrap中按钮点击后被禁用按钮的最佳实现方法
2016/09/23 Javascript
浅谈javascript:两种注释,声明变量,定义函数
2016/10/05 Javascript
Vue cli+mui 区域滚动的实例代码
2018/01/25 Javascript
详解开发react应用最好用的脚手架 create-react-app
2018/04/24 Javascript
JQuery实现折叠式菜单的详细代码
2020/06/03 jQuery
Python时区设置方法与pytz查询时区教程
2013/11/27 Python
跟老齐学Python之通过Python连接数据库
2014/10/28 Python
Python3中的2to3转换工具使用示例
2015/06/12 Python
python安装dlib库报错问题及解决方法
2020/03/16 Python
Keras使用ImageNet上预训练的模型方式
2020/05/23 Python
LG西班牙网上商店:Tienda LG Online Es
2019/07/30 全球购物
餐饮业的创业计划书范文
2013/12/26 职场文书
抽奖活动主持词
2014/03/31 职场文书
个人银行贷款担保书
2014/04/01 职场文书
房屋分割离婚协议书范本
2014/12/01 职场文书
资料员岗位职责
2015/02/10 职场文书
酒店总经理岗位职责
2015/04/01 职场文书
《风娃娃》教学反思
2016/02/18 职场文书
详解Anyscript开发指南绕过typescript类型检查
2022/09/23 Javascript