Python字符编码转码之GBK,UTF8互转


Posted in Python onFebruary 09, 2020

一、Python字符编码介绍

1、须知:

在python 2中默认编码是 ASCII,而在python 3中默认编码是 unicode

unicode 分为utf-32 (占4个字节),utf-16(占两个字节),utf-8(占1-4个字节),所以utf-16 是最常用的unicode版本,但是在文件里存的还是utf-8,因为utf8省空间

在python 3,encode编码的同时会把stringl变成bytes类型,decode解码的同时会把bytes类型变成string类型

在unicode编码中 1个中文字符=2个字节,1个英文字符 = 1个字节,切记:ASCII是不能存中文字符的

utf-8是可变长字符编码,它是unicode的优化,所有的英文字符依然按ASCII形式存储,所有的中文字符统一是3个字节

unicode包含了所有国家的字符编码,不同字符编码之间的转换都需要经过unicode的过程

python本身的默认编码是utf-8

2、py2中的编码和转码的过程,如图:

Python字符编码转码之GBK,UTF8互转

注:因为unicode是中间编码,任何字符编码之前的转换都必须解码成unicode,在编码成需要转的字符编码

二、字符编码的转换

1、py2字符编码的转换,代码如下:

#! /usr/bin/env python
# -*- coding:utf-8 -*-
# __auther__ == luoahong
 
s = "我是学员"
#utf-8解码成unicode编码
s_to_unicode = s.decode("utf-8")
print("--------s_to_unicode-----")
print(s_to_unicode)
#然后unicode再编码成gbk
s_to_gbk = s_to_unicode.encode("gbk")
print("-----s_to_gbk------")
print(s_to_gbk)
#gbk解码成unicode再编码成utf-8
gbk_to_utf8 = s_to_gbk.decode("gbk").encode("utf-8")
print("------gbk_to_utf8-----")
print(gbk_to_utf8)
 
#输出
--------s_to_unicode-----
我是学员
-----s_to_gbk------
�����˧
------gbk_to_utf8-----
我是学员

 注:以上这种情况适合字符是非unicode编码请款下,但是如果字符编码已经是Unicode的了咋办呢?广告回来,更加精彩。。。。。

2、字符编码已经是unicode情况下,代码如下:

#! /usr/bin/env python
# -*- coding:utf-8 -*-
# __auther__ == luoahong
 
#u代码字符编码是unicode
s = u'你好'
#已经是unicode,所以这边直接是编码成gbk
s_to_gbk = s.encode("gbk")
print("----s_to_gbk----")
print(s_to_gbk)
#这边再解码成unicode然后再编码成utf-8
gbk_to_utf8 = s_to_gbk.decode("gbk").encode("utf-8")
print("-----gbk_to_utf8---")
print(gbk_to_utf8)
#输出
----s_to_gbk----
���
-----gbk_to_utf8---
你好

注:在python2中,在文件的开头指定字符编码,是要告诉解释器我现在的字符编码使用的是utf-8,那我在打印的中文时候,那么在utf-8中包含中文字符,那么可以打印出来。那么如果你不制定字符编码,默认使用系统编码,如果你的系统编码是ASCII,那么就会报错,因为ASCII不能存中文字符。

3、py3的字符编码转换

在须知中已经说到python 3的编码,默认是unicode,所以字符编码之间的转换不需要decode过程,直接encode即可,代码如下:

#! /usr/bin/env python
# __auther__ == luoahong
#无需声明字符编码,当然你声明也不会报错
 
s = '你好'
# 字符串s已经是unicode编码,无需decode,直接encode
s_to_gbk = s.encode("gbk")
print("----s_to_gbk----")
print(s_to_gbk)
#这边还是一样,gbk需要先解码成unicode,再编码成utf-8
gbk_to_utf8 = s_to_gbk.decode("gbk").encode("utf-8")
print("-----gbk_to_utf8---")
print(gbk_to_utf8)
#解码成unicode字符编码
utf8_decode = gbk_to_utf8.decode("utf-8")
print("-------utf8_decode----")
print(utf8_decode)
 
#输出
----s_to_gbk----
b'\xc4\xe3\xba\xc3'
-----gbk_to_utf8---
b'\xe4\xbd\xa0\xe5\xa5\xbd'
-------utf8_decode----
你好

 注:在python 3,encode编码的同时会把stringl变成bytes类型,decode解码的同时会把bytes类型变成string类型,所以你就不难看出encode后的把它变成了一个bytes类型的数据。还有需要特别注意的是:不管是否在python 3的文件开头申明字符编码,只能表示,这个python文件是这个字符编码,文件中的字符串还是unicode,如下图:

三、总结:

1、uniocode能识别所有字符编码的字符串

2、在python 2中,字符编码之间的转化需要通过unicode才能转换,所以打印时,可以是使用unicode,也可以使用对应的字符编码(文件开头指定编码),打印字符或者字符串,因为py2中没有对字符和字节做明显区分,       所以才混导致这样的结果。

3、在python 3中,只有通过Unicode去识别字符的,如果转成编码成对应编码格式了,就直接变成对应编码的bytes类型的字节码,也就是二进制,需要识别,必须解码成Unicode才能识别

更多关于Python字符编码转码问题请查看下面的相关链接

Python 相关文章推荐
Python中exit、return、sys.exit()等使用实例和区别
May 28 Python
Python 3.6 性能测试框架Locust安装及使用方法(详解)
Oct 11 Python
python re模块的高级用法详解
Jun 06 Python
Python3实现汉语转换为汉语拼音
Jul 08 Python
Python中断多重循环的思路总结
Oct 04 Python
基于keras 模型、结构、权重保存的实现
Jan 24 Python
解决python 找不到module的问题
Feb 12 Python
Python基于Socket实现简单聊天室
Feb 17 Python
python自动下载图片的方法示例
Mar 25 Python
python列表删除和多重循环退出原理详解
Mar 26 Python
Python3 webservice接口测试代码详解
Jun 23 Python
使用Python封装excel操作指南
Jan 29 Python
Python基础之字符串操作常用函数集合
Feb 09 #Python
python连接PostgreSQL过程解析
Feb 09 #Python
Python +Selenium解决图片验证码登录或注册问题(推荐)
Feb 09 #Python
python+selenium定时爬取丁香园的新型冠状病毒数据并制作出类似的地图(部署到云服务器)
Feb 09 #Python
python 爬取疫情数据的源码
Feb 09 #Python
python代码如何实现余弦相似性计算
Feb 09 #Python
python字符串替换re.sub()实例解析
Feb 09 #Python
You might like
ThinkPHP调用common/common.php函数提示错误function undefined的解决方法
2014/08/25 PHP
php生成年月日下载列表的方法
2015/04/24 PHP
PHP实现发送邮件的方法(基于简单邮件发送类)
2015/12/17 PHP
PHPExcel实现表格导出功能示例【带有多个工作sheet】
2018/06/13 PHP
thinkPHP框架实现类似java过滤器的简单方法示例
2018/09/05 PHP
防止网站内容被拷贝的一些方法与优缺点好处与坏处分析
2007/11/30 Javascript
JavaScript页面刷新与弹出窗口问题的解决方法
2010/03/02 Javascript
JavaScript XML和string相互转化实现代码
2011/07/04 Javascript
js 幻灯片的实现
2011/12/06 Javascript
ie8下修改input的type属性报错的解决方法
2014/09/16 Javascript
js实现新浪微博首页效果
2015/10/16 Javascript
jQuery中Ajax全局事件引用方式及各个事件(全局/局部)执行顺序
2016/06/02 Javascript
js轮播图无缝滚动效果
2017/06/17 Javascript
Node.js使用supervisor进行开发中调试的方法
2019/03/26 Javascript
js判断鼠标移入移出方向的方法
2020/06/24 Javascript
Python跳出循环语句continue与break的区别
2014/08/25 Python
Python写入CSV文件的方法
2015/07/08 Python
Python中的字符串操作和编码Unicode详解
2017/01/18 Python
浅谈Python 的枚举 Enum
2017/06/12 Python
python中 logging的使用详解
2017/10/25 Python
python实现微信远程控制电脑
2018/02/22 Python
python实现周期方波信号频谱图
2018/07/21 Python
使用python爬取抖音视频列表信息
2019/07/15 Python
pyinstaller打包程序exe踩过的坑
2019/11/19 Python
python科学计算之narray对象用法
2019/11/25 Python
Python SMTP配置参数并发送邮件
2020/06/16 Python
艺术应用与设计专业个人的自我评价
2013/11/19 职场文书
财务总监管理岗位职责
2014/03/08 职场文书
青春演讲稿范文
2014/05/08 职场文书
羽毛球比赛策划方案
2014/06/13 职场文书
大学生社会实践活动总结
2014/07/03 职场文书
政风行风建设责任书
2014/07/23 职场文书
2014小学数学教师个人工作总结
2014/12/18 职场文书
涨价通知
2015/04/23 职场文书
实操Python爬取觅知网素材图片示例
2021/11/27 Python
一文教你快速生成MySQL数据库关系图
2022/06/28 Redis