python黑魔法之编码转换


Posted in Python onJanuary 25, 2016

我们在使用其他语言的库做编码转换时,对于无法理解的字符,通常的处理也只有两种(或三种):

  • 抛异常
  • 替换成替代字符
  • 跳过

但是在复杂的现实世界中,由于各种不靠谱,我们处理的文本总会出现那么些不和谐因素,比如混合编码。在这种情况下,又回到了上面的处理办法。

那么问题来了,python有没有更好地办法呢?

答案是,有!

python的编码转换流程实际上是两段式转换:

source -> unicode -> dest

首先将字符串从原始编码转换成unicode。再将unicode转换成目标编码。

第一步我们一般采用decode()或者 unicode() 这两个函数完成。
第二步我们使用encode()函数完成。

在这里我们说的黑魔法就是在第一步实现。

decode和unicode函数都有一个叫做errors的可选参数。看看官方的描述:

  • errors may be given to set a different error
  • handling scheme. Default is 'strict' meaning that encoding errors raise
  • a UnicodeDecodeError. Other possible values are 'ignore' and 'replace'
  • as well as any other name registered with codecs. register_error that is
  • able to handle UnicodeDecodeErrors.

这个参数通常有三种值:

  • strict 默认值。如果出现编码错误,则会抛出UnicodeDecodeError。
  • ignore 跳过。
  • replace 用?替换。

好了,看到最后一句话了吗?好戏上演了!

模块codec有一个函数叫做register_error。他的作用让用户可以注册自定义的errors处理方法。
用来处理UnicodeDecodeError。

我们看看函数原型:

codecs.register_error(name, error_handler)

name: 错误处理的名称。用以填写在decode函数的error参数中。
error_handler: 处理函数。该函数接受一个异常参数。
返回一个tuple,该tuple有2个元素,第一个是纠错后的字符串,第二个是继续decode的起始位置

有了上面的基本概念。我们看下具体实现:

def cjk_error(e):
  if not isinstance(e, UnicodeDecodeError):
    raise TypeError("don't know how to handle %r" % exc) 
  if exc.end + 1 > len(exc.object): 
    raise TypeError('unknown codec ,the object too short!') 
  ch1 = ord(exc.object[exc.start:exc.end]) 
  newpos = exc.end + 1 
  ch2 = ord(exc.object[exc.start + 1:newpos]) 
  sk = exc.object[exc.start:newpos] 
  if 0x81<=ch1<=0xFE and (0x40<=ch2<=0x7E or 0x7E<=ch2<=0xFE): # GBK 
    return (unicode(sk,'cp936'), newpos) 
  if 0x81<=ch1<=0xFE and (0x40<=ch2<=0x7E or 0xA1<=ch2<=0xFE): # BIG5 
    return (unicode(sk,'big5'), newpos) 
  raise TypeError('unknown codec !') 
codecs.register_error("cjk_replace", cjk_replace)

上面这个是我从网上copy的。开始我觉得很不错,但是后来发现是个很不经推敲的算法。
比如utf8和gbk在前两个字节就有交集的部分。当一个utf8的字符串以gbk编码decode的时候,出现错误是从第三个字节开始(前两个字节也能够在gbk编码范围中对应到一个汉字)。
如:

a = "你"              # utf8编码:'\xe4\xbd\xa0'
c = unicode(a[:2],'gbk')  # 正常返回
c = unicode(a, 'gbk')    # UnicodeDecodeError 。错误发生在第三个字节

所以针对这种情况,做了下改进:

import codec

def cjk_replace(e):
  if not isinstance(e, UnicodeDecodeError):
    raise TypeError("invalid exception type %s" e)

  src = e.encoding
  if src in ('gbk','gb18030', 'big5'):
    beg = e.start - 2
    if beg >= 0:
      try:
        return unicode(e.object[beg:e.end], 'utf8'), e.end + 1
      except:
        pass

  if exc.end + 1 > len(exc.object):
    raise TypeError('unknown codec ,the object too short!')
  ch1 = ord(exc.object[exc.start:exc.end])
  newpos = exc.end + 1
  ch2 = ord(exc.object[exc.start + 1:newpos])
  sk = exc.object[exc.start:newpos]

  if src != 'gbk' and 0x81<=ch1<=0xFE and (0x40<=ch2<=0x7E or 0x7E<=ch2<=0xFE): # GBK
    return (unicode(sk,'cp936'), newpos)
  if src != 'big5' and 0x81<=ch1<=0xFE and (0x40<=ch2<=0x7E or 0xA1<=ch2<=0xFE): # BIG5
    return (unicode(sk,'big5'), newpos)
  raise TypeError('unknown codec !')

codecs.register_error("cjk_replace", cjk_replace)

当然,这个逻辑其实还是不够严谨的。虽然对于这种混合编码这种畸形活处理有点较真儿。
不过既然python提供这样的能力,大家可以一起来讨论下,我们怎么可以做的更好?

Python 相关文章推荐
Python urllib、urllib2、httplib抓取网页代码实例
May 09 Python
python线程、进程和协程详解
Jul 19 Python
WINDOWS 同时安装 python2 python3 后 pip 错误的解决方法
Mar 16 Python
python中装饰器级连的使用方法示例
Sep 29 Python
Python装饰器(decorator)定义与用法详解
Feb 09 Python
python整小时 整天时间戳获取算法示例
Feb 20 Python
Python利用matplotlib绘制约数个数统计图示例
Nov 26 Python
在django中form的label和verbose name的区别说明
May 20 Python
Python-for循环的内部机制
Jun 12 Python
如何用Python 加密文件
Sep 10 Python
python如何利用paramiko执行服务器命令
Nov 07 Python
pycharm无法安装cv2模块问题
May 20 Python
Python编程中对文件和存储器的读写示例
Jan 25 #Python
Python开发如何在ubuntu 15.10 上配置vim
Jan 25 #Python
详解Python验证码识别
Jan 25 #Python
Python网站验证码识别
Jan 25 #Python
谈谈Python进行验证码识别的一些想法
Jan 25 #Python
基于Python Shell获取hostname和fqdn释疑
Jan 25 #Python
21行Python代码实现拼写检查器
Jan 25 #Python
You might like
PHP编程中八种常见的文件操作方式
2006/11/19 PHP
PHP中ID设置自增后不连续的原因分析及解决办法
2016/08/21 PHP
PHP调用API接口实现天气查询功能的示例
2017/09/21 PHP
JS request函数 用来获取url参数
2010/05/17 Javascript
jquery怎样实现ajax联动框(一)
2013/03/08 Javascript
JS判断客户端是手机还是PC的2个代码
2014/04/12 Javascript
jQuery文件上传控件 Uploadify 详解
2016/06/20 Javascript
AngularJS实现DOM元素的显示与隐藏功能
2016/11/22 Javascript
轻松学习Javascript闭包
2017/03/01 Javascript
layerUI下的绑定事件实例代码
2018/08/17 Javascript
vue-cli的工程模板与构建工具详解
2018/09/27 Javascript
详解使用React.memo()来优化函数组件的性能
2019/03/19 Javascript
vue实现可视化可拖放的自定义表单的示例代码
2019/03/20 Javascript
Vue组件实现触底判断
2019/06/26 Javascript
小程序中英文混合排序问题解决
2019/08/02 Javascript
JS实现轮播图效果
2020/01/11 Javascript
python3.3实现乘法表示例
2014/02/07 Python
Python 常用string函数详解
2016/05/30 Python
Python数据结构之双向链表的定义与使用方法示例
2018/01/16 Python
基于Django URL传参 FORM表单传数据 get post的用法实例
2018/05/28 Python
idea创建springMVC框架和配置小文件的教程图解
2018/09/18 Python
Python Pandas分组聚合的实现方法
2019/07/02 Python
python ubplot使用方法解析
2020/01/10 Python
Pytorch实现LSTM和GRU示例
2020/01/14 Python
keras读取训练好的模型参数并把参数赋值给其它模型详解
2020/06/15 Python
python collections模块的使用
2020/10/16 Python
python 发送get请求接口详解
2020/11/17 Python
如何利用CSS3制作3D效果文字具体实现样式
2013/05/02 HTML / CSS
CSS3 linear-gradient线性渐变生成加号和减号的方法
2017/11/21 HTML / CSS
UNIX特点都有哪些
2016/04/05 面试题
财务专业大学生职业生涯规划范文
2013/12/30 职场文书
银行开户授权委托书格式
2014/10/10 职场文书
工作感想范文
2015/08/07 职场文书
2019年最新版见习人员管理制度!
2019/07/08 职场文书
Mysql 设置boolean类型的操作
2021/06/04 MySQL
NGINX 权限控制文件预览和下载的实现原理
2022/01/18 Servers