解决python 文本过滤和清理问题


Posted in Python onAugust 28, 2019

问题

某些无聊的脚本小子在Web页面表单中填入了“pýtĥöñ”这样的文本,我们想以某种方式将其清理掉。

解决方案

文本过滤和清理所涵盖的范围非常广泛,涉及文本解析和数据处理方面的问题。在非常简单的层次上,我们可能会用基本的字符串函数(例如str.upper()和str.lower())将文本转换为标准形式。简单的替换操作可通过str.replace()或re.sub()来完成,它们把重点放在移除或修改特定的字符序列上。也可以利用unicodedata.normalize()来规范化文本。

然而我们可能想更进一步。比方说也许想清除整个范围内的字符,或者去掉音符标志。要完成这些任务,可以使用常被忽视的str.translate()方法。为了说明其用法,假设有如下这段混乱的字符串:

>>> s = 'pytĥon\fis\tawesome\r\n'
>>> s
'pytĥon\x0cis\tawesome\r\n'
>>>

第一步是清理空格。要做到这步,先建立一个小型的转换表,然后使用translate()方法:

>>> remap = {
...   ord('\t') : ' ',
...   ord('\f') : ' ',
...   ord('\r') : None    # Deleted
... }
>>> a = s.translate(remap)
>>> a
'pytĥon is awesome\n'

可以看到,类似t和f这样的空格符已经被重新映射成一个单独的空格。回车符r已经完全被删除掉了。

可以利用这种重新映射的思想进一步构建出更加庞大的转换表。例如,我们把所有的Unicode组合字符都去掉:

>>> import unicodedata
>>> import sys
>>> cmb_chrs = dict.fromkeys(c for c in range(sys.maxunicode) if unicodedata.combining(chr(c)))
...
>>> b = unicodedata.normalize('NFD', a)
>>> b
'pytĥon is awesome\n'
>>> b.translate(cmb_chrs)
'python is awesome\n'
>>>

在这个例子中,我们使用dict.fromkeys()方法构建了一个将每个Unicode组合字符都映射为None的字典。

原始输入会通过unicodedata.normalize()方法转换为分离形式,然后再通过translate()方法删除所有的重音符号。我们也可以利用相似的技术来去掉其他类型的字符(例如控制字符)。

下面来看另一个例子。这里有一张转换表将所有的Unicode十进制数字字符映射为它们对应的ASCII版本:

>>> digitmap = { c: ord('0') + unicodedata.digit(chr(c))
...        for c in range(sys.maxunicode)
...        if unicodedata.category(chr(c)) == 'Nd' }
...
>>> len(digitmap)
460
>>> # Arabic digits
>>> x = '\u0661\u0662\u0663'
>>> x.translate(digitmap)
'123'
>>>

另一种用来清理文本的技术涉及I/O解码和编码函数。大致思路是首先对文本做初步的清理,然后通过结合encode()和decode()操作来修改或清理文本。示例如下:

>>> a
'pytĥon is awesome\n'
>>> b = unicodedata.normalize('NFD', a)
>>> b.encode('ascii', 'ignore').decode('ascii')
'python is awesome\n'
>>>

这里的normalize()方法先对原始文本做分解操作。后续的ASCII编码/解码只是简单地一次性丢弃所有不需要的字符。很显然,这种方法只有当我们的最终目标就是ASCII形式的文本时才有用。

讨论

文本过滤和清理的一个主要问题就是运行时的性能。一般来说操作越简单,运行得就越快。对于简单的替换操作,用str.replace()通常是最快的方式——即使必须多次调用它也是如此。比方说如果要清理掉空格符,可以编写如下的代码:

def clean_spaces(s):
  s = s.replace('\r', '')
  s = s.replace('\t', ' ')
  s = s.replace('\f', ' ')
return s

如果试着调用它,就会发现这比使用translate()或者正则表达式的方法要快得多。

另一方面,如果需要做任何高级的操作,比如字符到字符的重映射或删除,那么translate()方法还是非常快的。

从整体来看,我们应该在具体的应用中去进一步揣摩性能方面的问题。不幸的是,想在技术上给出一条“放之四海而皆准”的建议是不可能的,所以应该尝试多种不同的方法,然后做性能统计分析。

尽管本节的内容主要关注的是文本,但类似的技术也同样适用于字节对象(byte),这包括简单的替换、翻译和正则表达式。

总结

以上所述是小编给大家介绍的解决python 文本过滤和清理问题,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对三水点靠木网站的支持!
如果你觉得本文对你有帮助,欢迎转载,烦请注明出处,谢谢!

Python 相关文章推荐
Python的动态重新封装的教程
Apr 11 Python
Python脚本实现自动发带图的微博
Apr 27 Python
Python实现简单的多任务mysql转xml的方法
Feb 08 Python
matplotlib绘图实例演示标记路径
Jan 23 Python
Python中list查询及所需时间计算操作示例
Jun 21 Python
python实现简单日期工具类
Apr 24 Python
python 使用matplotlib 实现从文件中读取x,y坐标的可视化方法
Jul 04 Python
Python笔记之代理模式
Nov 20 Python
关于numpy.where()函数 返回值的解释
Dec 06 Python
python读取ini配置文件过程示范
Dec 23 Python
解决Keras 与 Tensorflow 版本之间的兼容性问题
Feb 07 Python
详解Python函数print用法
Jun 18 Python
解决Python对齐文本字符串问题
Aug 28 #Python
python+jinja2实现接口数据批量生成工具
Aug 28 #Python
解决Atom安装Hydrogen无法运行python3的问题
Aug 28 #Python
opencv实现简单人脸识别
Feb 19 #Python
Atom Python 配置Python3 解释器的方法
Aug 28 #Python
python聚类算法解决方案(rest接口/mpp数据库/json数据/下载图片及数据)
Aug 28 #Python
Numpy的简单用法小结
Aug 28 #Python
You might like
PHP中调用JAVA
2006/10/09 PHP
如何使用PHP计算上一个月的今天
2013/05/23 PHP
PHP使用curl模拟post上传及接收文件的方法
2016/03/04 PHP
laravel 解决ajax异步提交数据,并还回填充表格的问题
2019/10/15 PHP
javascript window.confirm确认 取消对话框实现代码小结
2012/10/21 Javascript
html文本框提示效果的示例代码
2014/06/28 Javascript
运用jQuery定时器的原理实现banner图片切换
2014/10/22 Javascript
浅谈Javascript中匀速运动的停止条件
2014/12/19 Javascript
javascript实现数组内值索引随机化及创建随机数组的方法
2015/08/10 Javascript
Bootstrap页面布局基础知识全面解析
2016/06/13 Javascript
JS简单实现无缝滚动效果实例
2016/08/24 Javascript
关于javascript的一些知识以及循环详解
2016/09/12 Javascript
Actionscript与javascript交互实例程序(修改)
2016/09/22 Javascript
JavaScript获取URL参数的方法之一
2017/03/24 Javascript
微信小程序 request接口的封装实例代码
2017/04/26 Javascript
Angular17之Angular自定义指令详解
2018/01/21 Javascript
基于React Native 0.52实现轮播图效果
2020/08/25 Javascript
初学node.js中实现删除用户路由
2019/05/27 Javascript
通过微信公众平台获取公众号文章的方法示例
2019/12/25 Javascript
python多重继承实例
2014/10/11 Python
python实现将pvr格式转换成pvr.ccz的方法
2015/04/28 Python
python简单实现旋转图片的方法
2015/05/30 Python
windows下安装python的C扩展编译环境(解决Unable to find vcvarsall.bat)
2018/02/21 Python
基于Python列表解析(列表推导式)
2018/06/23 Python
Python 转换文本编码实现解析
2019/08/27 Python
python 3.6.7实现端口扫描器
2019/09/04 Python
python检查目录文件权限并修改目录文件权限的操作
2020/03/11 Python
《诺贝尔》教学反思
2014/02/17 职场文书
《小鹰学飞》教学反思
2014/04/23 职场文书
辩护词格式
2015/05/22 职场文书
家庭贫困证明
2015/06/16 职场文书
信息简报范文
2015/07/21 职场文书
学习党史心得体会2016
2016/01/23 职场文书
导游词之贵州百里杜鹃
2019/10/29 职场文书
MySql新手入门的基本操作汇总
2021/05/13 MySQL
OpenCV3.3+Python3.6实现图片高斯模糊
2021/05/18 Python