解决python 文本过滤和清理问题


Posted in Python onAugust 28, 2019

问题

某些无聊的脚本小子在Web页面表单中填入了“pýtĥöñ”这样的文本,我们想以某种方式将其清理掉。

解决方案

文本过滤和清理所涵盖的范围非常广泛,涉及文本解析和数据处理方面的问题。在非常简单的层次上,我们可能会用基本的字符串函数(例如str.upper()和str.lower())将文本转换为标准形式。简单的替换操作可通过str.replace()或re.sub()来完成,它们把重点放在移除或修改特定的字符序列上。也可以利用unicodedata.normalize()来规范化文本。

然而我们可能想更进一步。比方说也许想清除整个范围内的字符,或者去掉音符标志。要完成这些任务,可以使用常被忽视的str.translate()方法。为了说明其用法,假设有如下这段混乱的字符串:

>>> s = 'pytĥon\fis\tawesome\r\n'
>>> s
'pytĥon\x0cis\tawesome\r\n'
>>>

第一步是清理空格。要做到这步,先建立一个小型的转换表,然后使用translate()方法:

>>> remap = {
...   ord('\t') : ' ',
...   ord('\f') : ' ',
...   ord('\r') : None    # Deleted
... }
>>> a = s.translate(remap)
>>> a
'pytĥon is awesome\n'

可以看到,类似t和f这样的空格符已经被重新映射成一个单独的空格。回车符r已经完全被删除掉了。

可以利用这种重新映射的思想进一步构建出更加庞大的转换表。例如,我们把所有的Unicode组合字符都去掉:

>>> import unicodedata
>>> import sys
>>> cmb_chrs = dict.fromkeys(c for c in range(sys.maxunicode) if unicodedata.combining(chr(c)))
...
>>> b = unicodedata.normalize('NFD', a)
>>> b
'pytĥon is awesome\n'
>>> b.translate(cmb_chrs)
'python is awesome\n'
>>>

在这个例子中,我们使用dict.fromkeys()方法构建了一个将每个Unicode组合字符都映射为None的字典。

原始输入会通过unicodedata.normalize()方法转换为分离形式,然后再通过translate()方法删除所有的重音符号。我们也可以利用相似的技术来去掉其他类型的字符(例如控制字符)。

下面来看另一个例子。这里有一张转换表将所有的Unicode十进制数字字符映射为它们对应的ASCII版本:

>>> digitmap = { c: ord('0') + unicodedata.digit(chr(c))
...        for c in range(sys.maxunicode)
...        if unicodedata.category(chr(c)) == 'Nd' }
...
>>> len(digitmap)
460
>>> # Arabic digits
>>> x = '\u0661\u0662\u0663'
>>> x.translate(digitmap)
'123'
>>>

另一种用来清理文本的技术涉及I/O解码和编码函数。大致思路是首先对文本做初步的清理,然后通过结合encode()和decode()操作来修改或清理文本。示例如下:

>>> a
'pytĥon is awesome\n'
>>> b = unicodedata.normalize('NFD', a)
>>> b.encode('ascii', 'ignore').decode('ascii')
'python is awesome\n'
>>>

这里的normalize()方法先对原始文本做分解操作。后续的ASCII编码/解码只是简单地一次性丢弃所有不需要的字符。很显然,这种方法只有当我们的最终目标就是ASCII形式的文本时才有用。

讨论

文本过滤和清理的一个主要问题就是运行时的性能。一般来说操作越简单,运行得就越快。对于简单的替换操作,用str.replace()通常是最快的方式——即使必须多次调用它也是如此。比方说如果要清理掉空格符,可以编写如下的代码:

def clean_spaces(s):
  s = s.replace('\r', '')
  s = s.replace('\t', ' ')
  s = s.replace('\f', ' ')
return s

如果试着调用它,就会发现这比使用translate()或者正则表达式的方法要快得多。

另一方面,如果需要做任何高级的操作,比如字符到字符的重映射或删除,那么translate()方法还是非常快的。

从整体来看,我们应该在具体的应用中去进一步揣摩性能方面的问题。不幸的是,想在技术上给出一条“放之四海而皆准”的建议是不可能的,所以应该尝试多种不同的方法,然后做性能统计分析。

尽管本节的内容主要关注的是文本,但类似的技术也同样适用于字节对象(byte),这包括简单的替换、翻译和正则表达式。

总结

以上所述是小编给大家介绍的解决python 文本过滤和清理问题,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对三水点靠木网站的支持!
如果你觉得本文对你有帮助,欢迎转载,烦请注明出处,谢谢!

Python 相关文章推荐
Python入门篇之函数
Oct 20 Python
Python实现的递归神经网络简单示例
Aug 11 Python
python距离测量的方法
Mar 06 Python
实例讲解Python脚本成为Windows中运行的exe文件
Jan 24 Python
python过滤中英文标点符号的实例代码
Jul 15 Python
使用django的objects.filter()方法匹配多个关键字的方法
Jul 18 Python
用Pelican搭建一个极简静态博客系统过程解析
Aug 22 Python
Python使用get_text()方法从大段html中提取文本的实例
Aug 27 Python
python 回溯法模板详解
Feb 26 Python
Python基于httpx模块实现发送请求
Jul 07 Python
Django后端分离 使用element-ui文件上传方式
Jul 12 Python
Python制作一个仿QQ办公版的图形登录界面
Sep 22 Python
解决Python对齐文本字符串问题
Aug 28 #Python
python+jinja2实现接口数据批量生成工具
Aug 28 #Python
解决Atom安装Hydrogen无法运行python3的问题
Aug 28 #Python
opencv实现简单人脸识别
Feb 19 #Python
Atom Python 配置Python3 解释器的方法
Aug 28 #Python
python聚类算法解决方案(rest接口/mpp数据库/json数据/下载图片及数据)
Aug 28 #Python
Numpy的简单用法小结
Aug 28 #Python
You might like
深入讲解PHP的对象注入(Object Injection)
2017/03/01 PHP
php实现文件管理与基础功能操作
2017/03/21 PHP
jquery 操作表格实现代码(多种操作打包)
2011/03/20 Javascript
修改好的jquery滚动字幕效果实现代码
2011/06/22 Javascript
Jquery的hide及toggle方法让超链接慢慢消失
2013/09/06 Javascript
jQuery页面加载初始化常用的三种方法
2014/06/04 Javascript
javascript伸缩型菜单实现代码
2015/11/16 Javascript
微信小程序 实例开发总结
2017/04/26 Javascript
JavaScript+CSS相册特效实例代码
2017/09/07 Javascript
基于vue的短信验证码倒计时demo
2017/09/13 Javascript
Node.js中Bootstrap-table的两种分页的实现方法
2017/09/18 Javascript
微信小程序视图template模板引用的实例详解
2017/09/20 Javascript
JavaScript笛卡尔积超简单实现算法示例
2018/07/30 Javascript
详解JavaScript 新语法之Class 的私有属性与私有方法
2019/04/23 Javascript
NodeJs 实现简单WebSocket即时通讯的示例代码
2019/08/05 NodeJs
详解Vue 项目中的几个实用组件(ts)
2019/10/29 Javascript
vue 返回上一页,页面样式错乱的解决
2019/11/14 Javascript
详解微信小程序工程化探索之webpack实战
2020/04/20 Javascript
react-intl实现React国际化多语言的方法
2020/09/27 Javascript
jQuery是用来干什么的 jquery其实就是一个js框架
2021/02/04 jQuery
[01:05:32]DOTA2上海特级锦标赛主赛事日 - 3 败者组第三轮#1COL VS Alliance第一局
2016/03/04 DOTA
python、java等哪一门编程语言适合人工智能?
2017/11/13 Python
python版opencv摄像头人脸实时检测方法
2018/08/03 Python
Python中垃圾回收和del语句详解
2018/11/15 Python
pip安装python库的方法总结
2019/08/02 Python
python图形绘制奥运五环实例讲解
2019/09/14 Python
解决TensorFlow模型恢复报错的问题
2020/02/06 Python
canvas之万花筒效果的简单实现(推荐)
2016/08/16 HTML / CSS
亚马逊中国官方网站:amazon.cn
2017/05/25 全球购物
美国厨房和园艺工具网上商店:Nestneed
2019/08/24 全球购物
园林毕业生自我鉴定范文
2013/12/29 职场文书
党员承诺书内容
2014/03/26 职场文书
2014年学校禁毒工作总结
2014/12/23 职场文书
交通事故调解协议书
2015/05/20 职场文书
单位车辆管理制度
2015/08/05 职场文书
《童年》读后感(三篇)
2019/08/27 职场文书