python实现unicode转中文及转换默认编码的方法


Posted in Python onApril 29, 2017

本文实例讲述了python实现unicode转中文及转换默认编码的方法。分享给大家供大家参考,具体如下:

一、在爬虫抓取网页信息时常需要将类似"\u4eba\u751f\u82e6\u77ed\uff0cpy\u662f\u5cb8"转换为中文,实际上这是unicode的中文编码。可用以下方法转换:

1、

>>> s = u'\u4eba\u751f\u82e6\u77ed\uff0cpy\u662f\u5cb8'
>>> print s
人生苦短,py是岸

2、

>>> s = r'\u4eba\u751f\u82e6\u77ed\uff0cpy\u662f\u5cb8'
>>> s = s.decode('unicode_escape')
>>> print s
人生苦短,py是岸

二、另外,在python2的字符编码问题时常会遇到“UnicodeEncodeError: 'ascii' codec can't encode characters in position 0-5: ordinal not in range(128)”的编码错误。

而用以下方法通常可以解决:

import sys
reload(sys)
sys.setdefaultencoding('utf-8')

此方法是将Python2的默认编码ASCII改为 utf-8。但此方法不是一劳永逸的,可能会使一些代码的行为变得怪异。

关于sys.setdefaultencoding('utf-8')的补充:

sys.setdefaultencoding('utf-8') 会导致的两个大问题

简单来说这么做将会使得一些代码行为变得怪异,而这怪异还不好修复,以一个不可见的 bug 存在着。下面我们举两个例子。

1. 编码错误

import chardet
def print_string(string):
  try:
    print(u"%s" % string)
  except UnicodeError:
    print u"%s" % unicode(byte_string, encoding=chardet.detect(string)['encoding'])
print_string(u"þ".encode("latin-1"))
import sys
reload(sys)
sys.setdefaultencoding('utf-8')
print(key_in_dict('þ'))

输出:

$~ þ
$~ þ

在上面的代码中,默认的 ascii 编码无法解码,þ latin-1 编码 hex 表示是 c3 be ,显然是超出了只有128个字符的 ascii 码集的,引发 UnicodeError 异常,进入异常处理。异常处理则会根据编码探测,用最可能的编码来解码,会比较靠谱地输出 þ 。

而一旦我们将 defaultencoding 设置为 utf-8,因为 utf-8 的字符范围是完全覆盖 latin-1,因此,会直接使用 utf-8 进行解码。c3 be 在 utf-8 中,是 þ。于是我们打印出了完全不同的字符。

可能你们会说我们不会写这样的代码。如果我们写了也会做修正。但如果是第三方库这么写了呢?项目依赖的第三方库就这么 bug 了。如果你不依赖第三方库,那么下面这个 bug,还是逃不过。

2. dictionray 行为异常

假设我们要从一个 dictionary 里查找一个 key 是否存在,通常来说,有两种可行方法。

#-*- coding: utf-8 -*-
d = {1:2, '1':'2', '你好': 'hello'}
def key_in_dict(key)
  if key in d:
    return True
  return False
def key_found_in_dict(key):
  for _key in d:
    if _key == key:
      return True
  return False

我们对比下改变系统默认编码前后这俩函数的输出有什么不同。

#-*- coding: utf-8 -*-
print(key_in_dict('你好'))
print(key_found_dict('你好'))
print(key_in_dict(u'你好'))
print(key_found_in_dict(u'你好'))
print('------utf-8------')
import sys
reload(sys)
sys.setdefaultencoding('utf-8')
print(key_in_dict('你好'))
print(key_found_dict('你好'))
print(key_in_dict(u'你好'))
print(key_found_in_dict(u'你好'))

输出:

$~ True
$~ True
$~ False
$~ False
$~ ------utf-8------
$~ True
$~ True
$~ False
$~ True

可以看到,当默认编码改了之后,两个函数的输出不再一致。

dict 的 in 操作符将键做哈希,并比较哈希值判断是否相等。对于 ascii 集合内的字符来说,不管是字节字符类型还是还是 unicode 类型,其哈希值是一样的,如 u'1' in {'1':1} 会返回 True,而超出 ascii 码集的字符,如上例中的 '你好',它的字节字符类型的哈希与 unicode 类型的哈希是不一样的。

而 == 操作符则是做了一次转换,将字节字符(byte string,上面的 '你好')转换成 unicode(u'你好') 类型,然后对转换后的结果做比较。在 ascii 系统默认编码中,'你好'转换成 Unicode 会产生 Warning: UnicodeWarning: Unicode equal comparison failed to convert both arguments to Unicode - interpreting them as being unequal,因为超出码集无法转换,系统会默认其不相等。当系统编码被我们手动改为 utf-8 后,这个禁忌则被解除,'你好' 能够顺利被转换成 unicode,最后的结果就是,in 和 == 行为不再一致。

问题的根源:Python2 中的 string

Python 为了让其语法看上去简洁好用,做了很多 tricky 的事情,混淆 byte string 和 text string 就是其中一例。

在 Python 里,有三大类 string 类型,unicode(text string),str(byte string,二进制数据),basestring,是前两者的父类。

其实,在语言设计领域,一串字节(sequences of bytes)是否应该当做字符串(string)一直是存在争议的。我们熟知的 Java 和 C# 投了反对票,而 Python 则站在了支持者的阵营里。其实我们在很多情况下,给文本做的操作,比如正则匹配、字符替换等,对于字节来说是用不着的。而 Python 认为字节就是字符,所以他们俩的操作集合是一致的。

然后进一步的,Python 会在必要的情况下,尝试对字节做自动类型转换,例如,在上文中的 ==,或者字节和文本拼接时。如果没有一个编码(encoding),两个不同类型之间的转换是无法进行的,于是,Python 需要一个默认编码。在 Python2 诞生的年代,ASCII 是最流行的(可以这么说吧),于是 Python2 选择了 ASCII。然而,众所周知,在需要需要转换的场景,ASCII 都是没用的(128个字符,够什么吃)。

在历经这么多年吐槽后,Python 3 终于学乖了。默认编码是 Unicode,这也就意味着,做所有需要转换的场合,都能正确并成功的转换。

最佳实践

说了这么多,如果不迁移到 Python 3,能怎么做呢?

有这么几个建议:

所有 text string 都应该是 unicode 类型,而不是 str,如果你在操作 text,而类型却是 str,那就是在制造 bug。

在需要转换的时候,显式转换。从字节解码成文本,用 var.decode(encoding),从文本编码成字节,用 var.encode(encoding)。

从外部读取数据时,默认它是字节,然后 decode 成需要的文本;同样的,当需要向外部发送文本时,encode 成字节再发送。

Python 相关文章推荐
python多进程操作实例
Nov 21 Python
简单的连接MySQL与Python的Bottle框架的方法
Apr 30 Python
Python获取系统默认字符编码的方法
Jun 04 Python
Python字符串转换成浮点数函数分享
Jul 24 Python
Python内存管理方式和垃圾回收算法解析
Nov 11 Python
详解Python中的四种队列
May 21 Python
JavaScript中的模拟事件和自定义事件实例分析
Jul 27 Python
pycharm执行python时,填写参数的方法
Oct 29 Python
Python3实现定时任务的四种方式
Jun 03 Python
详解python中的数据类型和控制流
Aug 08 Python
Python pandas自定义函数的使用方法示例
Nov 20 Python
使用pickle存储数据dump 和 load实例讲解
Dec 30 Python
Python 正则表达式实现计算器功能
Apr 29 #Python
python中类变量与成员变量的使用注意点总结
Apr 29 #Python
Python urls.py的三种配置写法实例详解
Apr 28 #Python
Python HTTP客户端自定义Cookie实现实例
Apr 28 #Python
Python 通过pip安装Django详细介绍
Apr 28 #Python
python 使用get_argument获取url query参数
Apr 28 #Python
Python、PyCharm安装及使用方法(Mac版)详解
Apr 28 #Python
You might like
在windows服务器开启php的gd库phpinfo中未发现
2013/01/13 PHP
PHP+MYSQL中文乱码问题
2015/07/01 PHP
阿里云Win2016安装Apache和PHP环境图文教程
2018/03/11 PHP
PHPStudy下如何为Apache安装SSL证书的方法步骤
2019/01/23 PHP
js getElementsByTagName的简写方式
2010/06/27 Javascript
JavaScript中this的使用详解
2013/11/08 Javascript
node.js中的events.emitter.removeListener方法使用说明
2014/12/10 Javascript
如何改进javascript代码的性能
2015/04/02 Javascript
JQuery选择器、过滤器大整理
2015/05/26 Javascript
JS实现保留n位小数的四舍五入问题示例
2016/08/03 Javascript
JavaScript探测CSS动画是否已经完成的方法
2016/08/30 Javascript
JS中正则表达式要注意lastIndex属性
2017/08/08 Javascript
JavaScript惰性求值的一种实现方法示例
2019/01/11 Javascript
如何使用Node.js爬取任意网页资源并输出PDF文件到本地
2019/06/17 Javascript
vue 数据双向绑定的实现方法
2021/03/04 Vue.js
[44:50]2018DOTA2亚洲邀请赛 4.1 小组赛 A组 TNC vs VG
2018/04/02 DOTA
python连接mysql数据库示例(做增删改操作)
2013/12/31 Python
Python写的创建文件夹自定义函数mkdir()
2014/08/25 Python
详解Django中Request对象的相关用法
2015/07/17 Python
深入解析Python中的list列表及其切片和迭代操作
2016/03/13 Python
深入浅析python中的多进程、多线程、协程
2016/06/22 Python
Python中定时任务框架APScheduler的快速入门指南
2017/07/06 Python
浅谈在django中使用filter()(即对QuerySet操作)时踩的坑
2020/03/31 Python
在django admin中配置搜索域是一个外键时的处理方法
2020/05/20 Python
Python pysnmp使用方法及代码实例
2020/08/24 Python
详解基于 Canvas 手撸一个六边形能力图
2019/09/02 HTML / CSS
Html5页面上如何禁止手机虚拟键盘弹出
2020/03/19 HTML / CSS
保安自我鉴定范文
2013/12/08 职场文书
高中生毕业自我鉴定范文
2013/12/22 职场文书
大学生蛋糕店创业计划书
2014/01/13 职场文书
幼儿园数学教学反思
2014/02/02 职场文书
优秀学生事迹材料
2014/02/08 职场文书
《乌塔》教学反思
2014/02/17 职场文书
测试工程师程序员求职信范文
2014/02/20 职场文书
社区文艺活动方案
2014/08/19 职场文书
JS如何使用剪贴板操作Clipboard API
2021/05/17 Javascript