Python字符编码转码之GBK,UTF8互转


Posted in Python onFebruary 09, 2020

一、Python字符编码介绍

1、须知:

在python 2中默认编码是 ASCII,而在python 3中默认编码是 unicode

unicode 分为utf-32 (占4个字节),utf-16(占两个字节),utf-8(占1-4个字节),所以utf-16 是最常用的unicode版本,但是在文件里存的还是utf-8,因为utf8省空间

在python 3,encode编码的同时会把stringl变成bytes类型,decode解码的同时会把bytes类型变成string类型

在unicode编码中 1个中文字符=2个字节,1个英文字符 = 1个字节,切记:ASCII是不能存中文字符的

utf-8是可变长字符编码,它是unicode的优化,所有的英文字符依然按ASCII形式存储,所有的中文字符统一是3个字节

unicode包含了所有国家的字符编码,不同字符编码之间的转换都需要经过unicode的过程

python本身的默认编码是utf-8

2、py2中的编码和转码的过程,如图:

Python字符编码转码之GBK,UTF8互转

注:因为unicode是中间编码,任何字符编码之前的转换都必须解码成unicode,在编码成需要转的字符编码

二、字符编码的转换

1、py2字符编码的转换,代码如下:

#! /usr/bin/env python
# -*- coding:utf-8 -*-
# __auther__ == luoahong
 
s = "我是学员"
#utf-8解码成unicode编码
s_to_unicode = s.decode("utf-8")
print("--------s_to_unicode-----")
print(s_to_unicode)
#然后unicode再编码成gbk
s_to_gbk = s_to_unicode.encode("gbk")
print("-----s_to_gbk------")
print(s_to_gbk)
#gbk解码成unicode再编码成utf-8
gbk_to_utf8 = s_to_gbk.decode("gbk").encode("utf-8")
print("------gbk_to_utf8-----")
print(gbk_to_utf8)
 
#输出
--------s_to_unicode-----
我是学员
-----s_to_gbk------
�����˧
------gbk_to_utf8-----
我是学员

 注:以上这种情况适合字符是非unicode编码请款下,但是如果字符编码已经是Unicode的了咋办呢?广告回来,更加精彩。。。。。

2、字符编码已经是unicode情况下,代码如下:

#! /usr/bin/env python
# -*- coding:utf-8 -*-
# __auther__ == luoahong
 
#u代码字符编码是unicode
s = u'你好'
#已经是unicode,所以这边直接是编码成gbk
s_to_gbk = s.encode("gbk")
print("----s_to_gbk----")
print(s_to_gbk)
#这边再解码成unicode然后再编码成utf-8
gbk_to_utf8 = s_to_gbk.decode("gbk").encode("utf-8")
print("-----gbk_to_utf8---")
print(gbk_to_utf8)
#输出
----s_to_gbk----
���
-----gbk_to_utf8---
你好

注:在python2中,在文件的开头指定字符编码,是要告诉解释器我现在的字符编码使用的是utf-8,那我在打印的中文时候,那么在utf-8中包含中文字符,那么可以打印出来。那么如果你不制定字符编码,默认使用系统编码,如果你的系统编码是ASCII,那么就会报错,因为ASCII不能存中文字符。

3、py3的字符编码转换

在须知中已经说到python 3的编码,默认是unicode,所以字符编码之间的转换不需要decode过程,直接encode即可,代码如下:

#! /usr/bin/env python
# __auther__ == luoahong
#无需声明字符编码,当然你声明也不会报错
 
s = '你好'
# 字符串s已经是unicode编码,无需decode,直接encode
s_to_gbk = s.encode("gbk")
print("----s_to_gbk----")
print(s_to_gbk)
#这边还是一样,gbk需要先解码成unicode,再编码成utf-8
gbk_to_utf8 = s_to_gbk.decode("gbk").encode("utf-8")
print("-----gbk_to_utf8---")
print(gbk_to_utf8)
#解码成unicode字符编码
utf8_decode = gbk_to_utf8.decode("utf-8")
print("-------utf8_decode----")
print(utf8_decode)
 
#输出
----s_to_gbk----
b'\xc4\xe3\xba\xc3'
-----gbk_to_utf8---
b'\xe4\xbd\xa0\xe5\xa5\xbd'
-------utf8_decode----
你好

 注:在python 3,encode编码的同时会把stringl变成bytes类型,decode解码的同时会把bytes类型变成string类型,所以你就不难看出encode后的把它变成了一个bytes类型的数据。还有需要特别注意的是:不管是否在python 3的文件开头申明字符编码,只能表示,这个python文件是这个字符编码,文件中的字符串还是unicode,如下图:

三、总结:

1、uniocode能识别所有字符编码的字符串

2、在python 2中,字符编码之间的转化需要通过unicode才能转换,所以打印时,可以是使用unicode,也可以使用对应的字符编码(文件开头指定编码),打印字符或者字符串,因为py2中没有对字符和字节做明显区分,       所以才混导致这样的结果。

3、在python 3中,只有通过Unicode去识别字符的,如果转成编码成对应编码格式了,就直接变成对应编码的bytes类型的字节码,也就是二进制,需要识别,必须解码成Unicode才能识别

更多关于Python字符编码转码问题请查看下面的相关链接

Python 相关文章推荐
python的三目运算符和not in运算符使用示例
Mar 03 Python
python如何读写json数据
Mar 21 Python
Python字典的核心底层原理讲解
Jan 24 Python
使用python3构建文件传输的方法
Feb 13 Python
对python3 Serial 串口助手的接收读取数据方法详解
Jun 12 Python
Python OpenCV中的resize()函数的使用
Jun 20 Python
在python里面运用多继承方法详解
Jul 01 Python
浅谈pytorch torch.backends.cudnn设置作用
Feb 20 Python
python框架Django实战商城项目之工程搭建过程图文详解
Mar 09 Python
PyTorch加载自己的数据集实例详解
Mar 18 Python
matplotlib.pyplot.matshow 矩阵可视化实例
Jun 16 Python
基于Python实现的购物商城管理系统
Apr 27 Python
Python基础之字符串操作常用函数集合
Feb 09 #Python
python连接PostgreSQL过程解析
Feb 09 #Python
Python +Selenium解决图片验证码登录或注册问题(推荐)
Feb 09 #Python
python+selenium定时爬取丁香园的新型冠状病毒数据并制作出类似的地图(部署到云服务器)
Feb 09 #Python
python 爬取疫情数据的源码
Feb 09 #Python
python代码如何实现余弦相似性计算
Feb 09 #Python
python字符串替换re.sub()实例解析
Feb 09 #Python
You might like
用PHP实现Ftp用户的在线管理的代码
2007/03/06 PHP
php中常用的预定义变量小结
2012/05/09 PHP
php从数据库查询结果生成树形列表的方法
2015/04/17 PHP
thinkPHP5 tablib标签库自定义方法详解
2017/05/10 PHP
PHP中phar包的使用教程
2017/06/14 PHP
php实现的中秋博饼游戏之绘制骰子图案功能示例
2017/11/06 PHP
yii2 开发api接口时优雅的处理全局异常的方法
2019/05/14 PHP
基于Jquery的动态创建DOM元素的代码
2010/12/28 Javascript
30个精美的jQuery幻灯片效果插件和教程
2011/08/23 Javascript
用jquery统计子菜单的条数示例代码
2013/10/18 Javascript
JS替换字符串中字符即替换全部而不是第一个
2014/06/04 Javascript
JavaScript导出Excel实例详解
2014/11/25 Javascript
个人网站留言页面(前端jQuery编写、后台php读写MySQL)
2016/05/03 Javascript
JS获取checkbox的个数简单实例
2016/08/19 Javascript
jQuery实现带遮罩层效果的blockUI弹出层示例【附demo源码下载】
2016/09/14 Javascript
简单实现Bootstrap标签页
2020/08/09 Javascript
jquery实现自适应banner焦点图
2017/02/16 Javascript
TypeScript入门-基本数据类型
2017/03/28 Javascript
javascript 开发之百度地图使用到的js函数整理
2017/05/19 Javascript
微信小程序“摇一摇”的实例代码
2017/07/20 Javascript
js数组实现权重概率分配
2017/09/12 Javascript
微信小程序实现点击按钮修改view标签背景颜色功能示例【附demo源码下载】
2017/12/06 Javascript
详解webpack import()动态加载模块踩坑
2018/07/17 Javascript
vue-自定义组件传值的实例讲解
2018/09/18 Javascript
关于Vue中axios的封装实例详解
2019/10/20 Javascript
javascript 高级语法之继承的基本使用方法示例
2019/11/11 Javascript
[04:13]2018国际邀请赛典藏宝瓶Ⅱ饰品一览
2018/07/21 DOTA
详解Python核心编程中的浅拷贝与深拷贝
2018/01/07 Python
python 批量添加的button 使用同一点击事件的方法
2019/07/17 Python
配置python的编程环境之Anaconda + VSCode的教程
2020/03/29 Python
Nike英国官网:Nike.com (UK)
2017/02/13 全球购物
英国第一摩托车和摩托车越野配件商店:GhostBikes
2019/03/10 全球购物
国际贸易专业推荐信
2013/11/15 职场文书
幼儿园教师节演讲稿
2014/09/03 职场文书
惊天动地观后感
2015/06/10 职场文书
大学军训心得体会800字
2016/01/11 职场文书