python实现unicode转中文及转换默认编码的方法


Posted in Python onApril 29, 2017

本文实例讲述了python实现unicode转中文及转换默认编码的方法。分享给大家供大家参考,具体如下:

一、在爬虫抓取网页信息时常需要将类似"\u4eba\u751f\u82e6\u77ed\uff0cpy\u662f\u5cb8"转换为中文,实际上这是unicode的中文编码。可用以下方法转换:

1、

>>> s = u'\u4eba\u751f\u82e6\u77ed\uff0cpy\u662f\u5cb8'
>>> print s
人生苦短,py是岸

2、

>>> s = r'\u4eba\u751f\u82e6\u77ed\uff0cpy\u662f\u5cb8'
>>> s = s.decode('unicode_escape')
>>> print s
人生苦短,py是岸

二、另外,在python2的字符编码问题时常会遇到“UnicodeEncodeError: 'ascii' codec can't encode characters in position 0-5: ordinal not in range(128)”的编码错误。

而用以下方法通常可以解决:

import sys
reload(sys)
sys.setdefaultencoding('utf-8')

此方法是将Python2的默认编码ASCII改为 utf-8。但此方法不是一劳永逸的,可能会使一些代码的行为变得怪异。

关于sys.setdefaultencoding('utf-8')的补充:

sys.setdefaultencoding('utf-8') 会导致的两个大问题

简单来说这么做将会使得一些代码行为变得怪异,而这怪异还不好修复,以一个不可见的 bug 存在着。下面我们举两个例子。

1. 编码错误

import chardet
def print_string(string):
  try:
    print(u"%s" % string)
  except UnicodeError:
    print u"%s" % unicode(byte_string, encoding=chardet.detect(string)['encoding'])
print_string(u"þ".encode("latin-1"))
import sys
reload(sys)
sys.setdefaultencoding('utf-8')
print(key_in_dict('þ'))

输出:

$~ þ
$~ þ

在上面的代码中,默认的 ascii 编码无法解码,þ latin-1 编码 hex 表示是 c3 be ,显然是超出了只有128个字符的 ascii 码集的,引发 UnicodeError 异常,进入异常处理。异常处理则会根据编码探测,用最可能的编码来解码,会比较靠谱地输出 þ 。

而一旦我们将 defaultencoding 设置为 utf-8,因为 utf-8 的字符范围是完全覆盖 latin-1,因此,会直接使用 utf-8 进行解码。c3 be 在 utf-8 中,是 þ。于是我们打印出了完全不同的字符。

可能你们会说我们不会写这样的代码。如果我们写了也会做修正。但如果是第三方库这么写了呢?项目依赖的第三方库就这么 bug 了。如果你不依赖第三方库,那么下面这个 bug,还是逃不过。

2. dictionray 行为异常

假设我们要从一个 dictionary 里查找一个 key 是否存在,通常来说,有两种可行方法。

#-*- coding: utf-8 -*-
d = {1:2, '1':'2', '你好': 'hello'}
def key_in_dict(key)
  if key in d:
    return True
  return False
def key_found_in_dict(key):
  for _key in d:
    if _key == key:
      return True
  return False

我们对比下改变系统默认编码前后这俩函数的输出有什么不同。

#-*- coding: utf-8 -*-
print(key_in_dict('你好'))
print(key_found_dict('你好'))
print(key_in_dict(u'你好'))
print(key_found_in_dict(u'你好'))
print('------utf-8------')
import sys
reload(sys)
sys.setdefaultencoding('utf-8')
print(key_in_dict('你好'))
print(key_found_dict('你好'))
print(key_in_dict(u'你好'))
print(key_found_in_dict(u'你好'))

输出:

$~ True
$~ True
$~ False
$~ False
$~ ------utf-8------
$~ True
$~ True
$~ False
$~ True

可以看到,当默认编码改了之后,两个函数的输出不再一致。

dict 的 in 操作符将键做哈希,并比较哈希值判断是否相等。对于 ascii 集合内的字符来说,不管是字节字符类型还是还是 unicode 类型,其哈希值是一样的,如 u'1' in {'1':1} 会返回 True,而超出 ascii 码集的字符,如上例中的 '你好',它的字节字符类型的哈希与 unicode 类型的哈希是不一样的。

而 == 操作符则是做了一次转换,将字节字符(byte string,上面的 '你好')转换成 unicode(u'你好') 类型,然后对转换后的结果做比较。在 ascii 系统默认编码中,'你好'转换成 Unicode 会产生 Warning: UnicodeWarning: Unicode equal comparison failed to convert both arguments to Unicode - interpreting them as being unequal,因为超出码集无法转换,系统会默认其不相等。当系统编码被我们手动改为 utf-8 后,这个禁忌则被解除,'你好' 能够顺利被转换成 unicode,最后的结果就是,in 和 == 行为不再一致。

问题的根源:Python2 中的 string

Python 为了让其语法看上去简洁好用,做了很多 tricky 的事情,混淆 byte string 和 text string 就是其中一例。

在 Python 里,有三大类 string 类型,unicode(text string),str(byte string,二进制数据),basestring,是前两者的父类。

其实,在语言设计领域,一串字节(sequences of bytes)是否应该当做字符串(string)一直是存在争议的。我们熟知的 Java 和 C# 投了反对票,而 Python 则站在了支持者的阵营里。其实我们在很多情况下,给文本做的操作,比如正则匹配、字符替换等,对于字节来说是用不着的。而 Python 认为字节就是字符,所以他们俩的操作集合是一致的。

然后进一步的,Python 会在必要的情况下,尝试对字节做自动类型转换,例如,在上文中的 ==,或者字节和文本拼接时。如果没有一个编码(encoding),两个不同类型之间的转换是无法进行的,于是,Python 需要一个默认编码。在 Python2 诞生的年代,ASCII 是最流行的(可以这么说吧),于是 Python2 选择了 ASCII。然而,众所周知,在需要需要转换的场景,ASCII 都是没用的(128个字符,够什么吃)。

在历经这么多年吐槽后,Python 3 终于学乖了。默认编码是 Unicode,这也就意味着,做所有需要转换的场合,都能正确并成功的转换。

最佳实践

说了这么多,如果不迁移到 Python 3,能怎么做呢?

有这么几个建议:

所有 text string 都应该是 unicode 类型,而不是 str,如果你在操作 text,而类型却是 str,那就是在制造 bug。

在需要转换的时候,显式转换。从字节解码成文本,用 var.decode(encoding),从文本编码成字节,用 var.encode(encoding)。

从外部读取数据时,默认它是字节,然后 decode 成需要的文本;同样的,当需要向外部发送文本时,encode 成字节再发送。

Python 相关文章推荐
Python中操作MySQL入门实例
Feb 08 Python
Python随机读取文件实现实例
May 25 Python
Django项目开发中cookies和session的常用操作分析
Jul 03 Python
python通过tcp发送xml报文的方法
Dec 28 Python
Pandas中resample方法详解
Jul 02 Python
python requests更换代理适用于IP频率限制的方法
Aug 21 Python
python生成requirements.txt的两种方法
Sep 18 Python
python、PyTorch图像读取与numpy转换实例
Jan 13 Python
深入浅析python 中的self和cls的区别
Jun 20 Python
Python函数中apply、map、applymap的区别
Nov 27 Python
python标准库ElementTree处理xml
May 20 Python
Python加密与解密模块hashlib与hmac
Jun 05 Python
Python 正则表达式实现计算器功能
Apr 29 #Python
python中类变量与成员变量的使用注意点总结
Apr 29 #Python
Python urls.py的三种配置写法实例详解
Apr 28 #Python
Python HTTP客户端自定义Cookie实现实例
Apr 28 #Python
Python 通过pip安装Django详细介绍
Apr 28 #Python
python 使用get_argument获取url query参数
Apr 28 #Python
Python、PyCharm安装及使用方法(Mac版)详解
Apr 28 #Python
You might like
世界收音机发展史
2021/03/01 无线电
php桌面中心(二) 数据库写入
2007/03/11 PHP
PHP无限分类(树形类)
2013/09/28 PHP
详解PHP的Yii框架中的Controller控制器
2016/03/29 PHP
PHP培训要多少钱
2017/06/06 PHP
PHP实现在对象之外访问其私有属性private及保护属性protected的方法
2017/11/20 PHP
Laravel框架实现model层的增删改查(CURD)操作示例
2018/05/12 PHP
JavaScript的21条基本知识点
2014/03/04 Javascript
前端js文件合并的三种方式推荐
2016/05/19 Javascript
node.js 动态执行脚本
2016/06/02 Javascript
bootstrap table实现单击单元格可编辑功能
2017/03/28 Javascript
Node Puppeteer图像识别实现百度指数爬虫的示例
2018/02/22 Javascript
webpack v4 从dev到prd的方法
2018/04/02 Javascript
30分钟快速入门掌握ES6/ES2015的核心内容(下)
2018/04/18 Javascript
解决vue init webpack 下载依赖卡住不动的问题
2020/11/09 Javascript
在Python程序中进行文件读取和写入操作的教程
2015/04/28 Python
Python 模板引擎的注入问题分析
2017/01/01 Python
Python中str.format()详解
2017/03/12 Python
python实现淘宝秒杀聚划算抢购自动提醒源码
2020/06/23 Python
Python定时发送消息的脚本:每天跟你女朋友说晚安
2018/10/21 Python
8段用于数据清洗Python代码(小结)
2019/10/31 Python
python异常处理try except过程解析
2020/02/03 Python
python求一个字符串的所有排列的实现方法
2020/02/04 Python
详解python UDP 编程
2020/08/24 Python
移动端html5 meta标签的神奇功效
2016/01/06 HTML / CSS
英国最大的百货公司:Harrods
2016/08/18 全球购物
美国独家设计师眼镜在线光学商店:Glasses Gallery
2017/12/28 全球购物
J2EE中常用的名词进行解释
2015/11/09 面试题
医务人员医德考评自我评价
2015/03/03 职场文书
推荐信范文大全
2015/03/27 职场文书
2015学习委员工作总结范文
2015/04/03 职场文书
办公室日常管理制度
2015/08/04 职场文书
2016年春季运动会通讯稿
2015/11/25 职场文书
详解Java分布式事务的 6 种解决方案
2021/06/26 Java/Android
《辉夜大小姐想让我告白》第三季正式预告
2022/03/20 日漫
MySQL聚簇索引和非聚簇索引的区别详情
2022/06/14 MySQL