在Python中关于中文编码问题的处理建议


Posted in Python onApril 08, 2015

字符串是Python中最常用的数据类型,而且很多时候你会用到一些不属于标准ASCII字符集的字符,这时候代码就很可能抛出UnicodeDecodeError: 'ascii' codec can't decode byte 0xc4 in position 10: ordinal not in range(128)异常。这种异常在Python中很容易遇到,尤其是在Python2.x中,是一个很让初学者费解头疼的问题。不过,如果你理解了Python的Unicode,并在编码中遵循一定的原则,这种编码问题还是比较容易理解和解决的。

字符串在Python内部的表示是unicode编码,因此,在做编码转换时,通常需要以unicode作为中间编码,即先将其他编码的字符串解码(decode)成unicode,再从unicode编码(encode)成另一种编码。但是,Python 2.x的默认编码格式是ASCII,就是说,在没有指定Python源码编码格式的情况下,源码中的所有字符都会被默认为ASCII码。也因为这个根本原因,在Python 2.x中经常会遇到UnicodeDecodeError或者UnicodeEncodeError的异常。

关于Unicode

Unicode是一种字符集,它为每一种现代或古代使用的文字系统中出现的每一个字符都提供了统一的序列号,规定了符号的二进制代码,但没有规定这个二进制代码应该如何存储。也就是说:Unicode的编码方式是固定的,但是实现方式根据不同的需要有跟多种,常见的有UTF-8、UTF-16和UTF-32等。更多的介绍大家可以参看维基百科:Unicode

为了能够处理Unicode数据,同时兼容Python某些内部模块,Python 2.x中提供了Unicode这种数据类型,通过decode和encode方法可以将其它编码和Unicode编码相互转化,但同时也引入了UnicodeDecodeError和UnicodeEncodeError异常。。

常见的几种编码异常

Python中常见的几种编码异常有SyntaxError: Non-ASCII character、UnicodeDecodeError和UnicodeEncodeError等。下面依次举例说明一下:

1、SyntaxError: Non-ASCII character

这种异常最不容易出现,也最容易处理,主要原因是Python源码文件中有非ASCII字符,而且同时没有声明源码编码格式,例如:
 

s = '中文'
print s   # 抛出异常

2、UnicodeDecodeError

这个异常有时候会在调用decode方法时出现,原因是Python打算将其他编码的字符转化为Unicode编码,但是字符本身的编码格式和decode方法传入的编码格式不一致,例如:
 

#!/usr/bin/python
# -*- coding: utf-8 -*-
s = '中文'
s.decode('gb2312') # UnicodeDecodeError: 'gb2312' codec can't decode bytes in position 2-3: illegal multibyte sequence
print s

上面这段代码中字符串s的编码格式是utf-8,但是在使用decode方法转化为Unicode编码时传入的参数是‘gb2312',因此在转化的时候抛出UnicodeDecodeError异常。还有一种情况是在encode的时候:
 

#!/usr/bin/python
# -*- coding: utf-8 -*-
s = '中文'
s.encode('gb2312') # UnicodeDecodeError: 'ascii' codec can't decode byte 0xe4 in position 0: ordinal not in range(128)
print s

3、UnicodeEncodeError

错误的使用decode和encode方法会出现这种异常,比如:使用decode方法将Unicode字符串转化的时候:
 

#!/usr/bin/python
# -*- coding: utf-8 -*-
s = u'中文'
s.decode('utf-8') # UnicodeEncodeError: 'ascii' codec can't encode characters in position 0-1: ordinal not in range(128)
print s

当然,除了上面列出的几种出现异常的情况之外还有很多可能出现异常的例子,这里就不在一一说明了。

解决方法

对于以上的几个异常,有以下几个处理的方法和原则。

1、遵循PEP0263原则,声明编码格式

在PEP 0263 -- Defining Python Source Code Encodings中提出了对Python编码问题的最基本的解决方法:在Python源码文件中声明编码格式,最常见的声明方式如下:

#!/usr/bin/python
# -*- coding: <encoding name> -*-

其中<encoding name>是代码所需要的编码格式,它可以是任意一种Python支持的格式,一般都会使用utf-8的编码格式。

2、使用u'中文'替代'中文'
 

str1 = '中文编码'
str2 = u'中文编码'

Python中有以上两种声明字符串变量的方式,它们的主要区别是编码格式的不同,其中,str1的编码格式和Python文件声明的编码格式一致,而str2的编码格式则是Unicode。如果你要声明的字符串变量中存在非ASCII的字符,那么最好使用str2的声明格式,这样你就可以不需要执行decode,直接对字符串进行操作,可以避免一些出现异常的情况。

3、Reset默认编码

Python中出现这么多编码问题的根本原因是Python 2.x的默认编码格式是ASCII,所以你也可以通过以下的方式修改默认的编码格式:
 

import sys
sys.setdefaultencoding('utf-8')

这种方法是可以解决部分编码问题,但是同时也会引入很多其他问题,得不偿失,不建议使用这种方式。

4、终极原则:decode early, unicode everywhere, encode late

最后分享一个终极原则:decode early, unicode everywhere, encode late,即:在输入或者声明字符串的时候,尽早地使用decode方法将字符串转化成unicode编码格式;然后在程序内使用字符串的时候统一使用unicode格式进行处理,比如字符串拼接、字符串替换、获取字符串的长度等操作;最后,在输出字符串的时候(控制台/网页/文件),通过encode方法将字符串转化为你所想要的编码格式,比如utf-8等。

按照这个原则处理Python的字符串,基本上可以解决所有的编码问题(只要你的代码和Python环境没有问题)。。。

5、升级Python 2.x到3.x

额,最后一个方法,升级Python 2.x,使用Python 3.x版本。。这样说主要是为了吐槽Python 2.x的编码设计问题。当然,升级到Python 3.x肯定可以解决大部分因为编码产生的异常问题。毕竟Python 3.x版本对字符串这部分还是做了相当大的改进的,具体的下面会说。。。。

Python 3.x中的Unicode

在Python 3.0之后的版本中,所有的字符串都是使用Unicode编码的字符串序列,同时还有以下几个改进:

1、默认编码格式改为unicode

2、所有的Python内置模块都支持unicode

3、不再支持u'中文'的语法格式

所以,对于Python 3.x来说,编码问题已经不再是个大的问题,基本上很少遇到上述的几个异常。关于Python 2.x str&unicode和Python 3.x str&bytes的更多说明和对比,大家可以看一下:Python中字符编码的总结和对比

Python 相关文章推荐
Python基础篇之初识Python必看攻略
Jun 23 Python
python判断字符串编码的简单实现方法(使用chardet)
Jul 01 Python
遍历python字典几种方法总结(推荐)
Sep 11 Python
python实现12306火车票查询器
Apr 20 Python
Python爬虫设置代理IP的方法(爬虫技巧)
Mar 04 Python
windows下python和pip安装教程
May 25 Python
Django中反向生成models.py的实例讲解
May 30 Python
Python文件循环写入行时防止覆盖的解决方法
Nov 09 Python
Python学习笔记之lambda表达式用法详解
Aug 08 Python
Django vue前后端分离整合过程解析
Nov 20 Python
Selenium环境变量配置(火狐浏览器)及验证实现
Dec 07 Python
Python实现抖音热搜定时爬取功能
Mar 16 Python
Python脚本实现格式化css文件
Apr 08 #Python
Python实现获取操作系统版本信息方法
Apr 08 #Python
Python中实现对Timestamp和Datetime及UTC时间之间的转换
Apr 08 #Python
python模块之StringIO使用示例
Apr 08 #Python
Python StringIO模块实现在内存缓冲区中读写数据
Apr 08 #Python
Python实现的简单文件传输服务器和客户端
Apr 08 #Python
操作Windows注册表的简单的Python程序制作教程
Apr 07 #Python
You might like
手把手教你使用DedeCms V3的在线采集图文教程
2007/04/03 PHP
thinkphp 多表 事务详解
2013/06/17 PHP
PHP数组函数知识汇总
2016/05/12 PHP
微信开发之php表单微信中自动提交两次问题解决办法
2017/01/08 PHP
Paypal实现循环扣款(订阅)功能
2017/03/23 PHP
Prototype 学习 Prototype对象
2009/07/12 Javascript
用js实现table单元格高宽调整,兼容合并单元格(兼容IE6、7、8、FF)实例
2013/06/25 Javascript
jQuery ajax dataType值为text json探索分享
2013/09/23 Javascript
jQuery中eq()方法用法实例
2015/01/05 Javascript
JavaScript 学习笔记之操作符(续)
2015/01/14 Javascript
BootstrapTable与KnockoutJS相结合实现增删改查功能【二】
2016/05/10 Javascript
前端框架Vue.js构建大型应用浅析
2016/09/12 Javascript
微信小程序 Image API实例详解
2016/09/30 Javascript
VueJS组件之间通过props交互及验证的方式
2017/09/04 Javascript
[51:26]DOTA2上海特级锦标赛主赛事日 - 2 胜者组第一轮#3Secret VS OG第二局
2016/03/03 DOTA
Python画图学习入门教程
2016/07/01 Python
Python中scatter函数参数及用法详解
2017/11/08 Python
解决python测试opencv时imread导致的错误问题
2019/01/26 Python
python 通过SSHTunnelForwarder隧道连接redis的方法
2019/02/19 Python
python 动态调用函数实例解析
2019/10/21 Python
python使用pyecharts库画地图数据可视化的实现
2020/03/25 Python
Python结合Window计划任务监测邮件的示例代码
2020/08/05 Python
协程Python 中实现多任务耗资源最小的方式
2020/10/19 Python
HTML5实现多张图片上传功能
2016/03/11 HTML / CSS
复古服装:RetroStage
2019/05/10 全球购物
华为C++笔试题
2014/08/05 面试题
教师党性分析材料
2014/02/04 职场文书
导师工作推荐信范文
2014/05/17 职场文书
工作失职检讨书(精华篇)
2014/10/15 职场文书
区域销售经理岗位职责
2015/04/02 职场文书
民事答辩状格式范文
2015/05/21 职场文书
安全事故隐患排查治理制度
2015/08/05 职场文书
家长对孩子的寒假评语
2015/10/09 职场文书
MYSQL 表的全面总结
2021/11/11 MySQL
CSS中妙用 drop-shadow 实现线条光影效果
2021/11/11 HTML / CSS
SpringBoot2零基础到精通之异常处理与web原生组件注入
2022/03/22 Java/Android