Python检测生僻字的实现方法


Posted in Python onOctober 23, 2016

解决思路

首先想到的就是利用 python 的正则表达式来匹配非法字符,然后找出非法记录。然而理想总是丰满的,现实却是残酷的。在实现的过程中,才发现自己对于字符编码、以及 python 内部字符串表示的相关知识的缺乏。在这期间,踩过了不少坑,到最后虽然还有些模糊的地方,但总算有一个总体清晰的了解。在此记录下心得,避免以后在同一个地方跌倒。

以下的测试环境是 ArcGIS 10.3 自带的 python 2.7.8 环境,不保证其他 python 环境也适用。

python 正则表达式

python 中的正则功能由内嵌的 re 函数库提供,主要用到 3 个函数。re.compile() 提供可重用的正则表达式,match() search() 函数返回匹配结果,两者之间的区别在于: match() 从指定位置开始匹配,search() 会从指定位置向后搜索直到找到匹配字符串。例如下面的代码中,match_result 从第一个字符 f 开始匹配,匹配失败返回空值;search_result 从 f 开始向后搜索,直到找到第一个匹配的字符 a, 然后通过 group() 函数输出匹配结果为字符 a。

import re

pattern = re.compile('[abc]')
match_result = pattern.match('fabc')
if match_result:
 print match_result.group()

search_result = pattern.search('fabc')
if search_result:
 print search_result.group()

以上的实现方式需要先编译一个 pattern,然后再进行匹配。实际上,我们可以直接利用 re.match(pattern, string) 函数来实现相同的功能。但是直接匹配的方式没有先编译再匹配的方式灵活,首先是正则表达式没办法重用,如果大量数据进行同一模式匹配,意味着每次都需要内部编译,造成性能损失;另外,re.match() 函数没有 pattern.match() 功能强大,后者可以指定从哪个位置开始匹配。

编码问题

了解 python 正则的基本功能后,剩下的事情就是找到一个合适的正则表达式来匹配生僻字和非法字符。非法字符很简单,采用以下 pattern 就可以实现匹配:

pattern = re.compile(r'[~!@#$%^&* ]')

然而对于生僻字的匹配,着实难倒了我。首先是对于生僻字的定义,什么样的字算生僻字?经过咨询项目经理,规定非 GB2312 的字符属于生僻字。接下来的问题是,如何匹配 GB2312 字符?

经过查询,GB2312 的范围是 [\xA1-\xF7][\xA1-\xFE] ,其中汉字区的范围是 [\xB0-\xF7][\xA1-\xFE] 。因此,添加生僻字匹配后的表达式为:

pattern = re.compile(r'[~!@#$%^&* ]|[^\xA1-\xF7][^\xA1-\xFE]')

问题似乎是顺理得当地解决了,然而我还是 too simple too naive 。由于要判断的字符串都是从图层文件读取的,arcpy 贴心地将读取的字符编码为 unicode 格式。因此,我需要找出 GB2312 字符集在 unicode 中的编码范围。但现实是,GB2312 字符集在 unicode 中的分布并不是连续的,使用正则表示这个范围必定是非常复杂的。使用正则表达式匹配生僻字的构想,似乎陷入了死胡同。

解决方案

既然提供的字符串是 unicode 格式,那么我可不可以将其转换为 GB2312 再进行匹配呢?实际上是不行,因为 unicode 字符集要远大于 GB2312 字符集,因此 GB2312 => unicode 总是可以实现的,而反过来 unicode => GB2312 不一定能成功。

这突然为我提供了另外一种思路,假设一个字符串的 unicode => GB2312 转换会失败,那么是不是恰恰说明了它不属于 GB2312 字符集?所以,我使用 unicode_string.encode('GB2312') 函数尝试转换字符串,捕获 UnicodeEncodeError 异常来识别生僻字。

最终的代码如下:

import re

def is_rare_name(string):
 pattern = re.compile(u"[~!@#$%^&* ]")
 match = pattern.search(string)
 if match:
 return True

 try:
    string.encode("gb2312")
  except UnicodeEncodeError:
   return True

  return False

总结

以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作能带来一定的帮助,如果有疑问大家可以留言交流。

Python 相关文章推荐
Python文档生成工具pydoc使用介绍
Jun 02 Python
Flask模拟实现CSRF攻击的方法
Jul 24 Python
新手入门Python编程的8个实用建议
Jul 12 Python
用python写一个定时提醒程序的实现代码
Jul 22 Python
python 利用pywifi模块实现连接网络破解wifi密码实时监控网络
Sep 16 Python
TensorFlow tf.nn.conv2d实现卷积的方式
Jan 03 Python
Python如何省略括号方法详解
Mar 21 Python
Python中操作各种多媒体,视频、音频到图片的代码详解
Jun 04 Python
Python编写单元测试代码实例
Sep 10 Python
Python使用OpenCV和K-Means聚类对毕业照进行图像分割
Jun 11 Python
Python下opencv使用hough变换检测直线与圆
Jun 18 Python
python not运算符的实例用法
Jun 30 Python
python 写入csv乱码问题解决方法
Oct 23 #Python
解决Python中字符串和数字拼接报错的方法
Oct 23 #Python
python 读写txt文件 json文件的实现方法
Oct 22 #Python
Python类属性的延迟计算
Oct 22 #Python
如何在Python函数执行前后增加额外的行为
Oct 20 #Python
如何利用Fabric自动化你的任务
Oct 20 #Python
windows下ipython的安装与使用详解
Oct 20 #Python
You might like
php你的验证码安全码?
2007/01/02 PHP
php学习笔记 面向对象中[接口]与[多态性]的应用
2011/06/16 PHP
探讨php中遍历二维数组的几种方法详解
2013/06/08 PHP
PHP扩展开发教程(总结)
2015/11/04 PHP
详解在PHP的Yii框架中使用行为Behaviors的方法
2016/03/18 PHP
php curl中gzip的压缩性能测试实例分析
2016/11/08 PHP
PHP操作Redis常用技巧总结
2018/04/24 PHP
JavaScript中valueOf函数与toString方法深入理解
2012/12/02 Javascript
关于延迟加载JavaScript
2015/05/05 Javascript
不定义JQuery插件 不要说会JQuery
2016/03/07 Javascript
jQuery获取cookie值及删除cookie用法实例
2016/04/15 Javascript
分享12个非常实用的JavaScript小技巧
2016/05/11 Javascript
jQuery 全选 全部选 反选 实现代码
2016/08/17 Javascript
vue2组件之select2调用的示例代码
2017/10/12 Javascript
微信小程序使用scroll-view标签实现自动滑动到底部功能的实例代码
2018/11/09 Javascript
基于Vue.js+Nuxt开发自定义弹出层组件
2020/10/09 Javascript
Python ORM框架SQLAlchemy学习笔记之映射类使用实例和Session会话介绍
2014/06/10 Python
Python中实现对list做减法操作介绍
2015/01/09 Python
Python中使用异常处理来判断运行的操作系统平台方法
2015/01/22 Python
python实现的简单猜数字游戏
2015/04/04 Python
使用Python读取大文件的方法
2018/02/11 Python
virtualenv 指定 python 解释器的版本方法
2018/10/25 Python
python2.7实现邮件发送功能
2018/12/12 Python
PyQt5内嵌浏览器注入JavaScript脚本实现自动化操作的代码实例
2019/02/13 Python
15行Python代码实现网易云热门歌单实例教程
2019/03/10 Python
Django 对IP访问频率进行限制的例子
2019/08/30 Python
Python银行系统实战源码
2019/10/25 Python
python 读取更新中的log 或其它文本方式
2019/12/24 Python
Python调用.net动态库实现过程解析
2020/06/05 Python
python中绕过反爬虫的方法总结
2020/11/25 Python
解决pytorch 模型复制的一些问题
2021/03/03 Python
June Jacobs尊积帕官网:知名的spa水疗护肤品牌
2019/03/21 全球购物
澳大利亚网上买书:Angus & Robertson
2019/07/21 全球购物
竞选生活委员演讲稿
2014/04/28 职场文书
企业仓管员岗位职责
2014/06/15 职场文书
Python实现将多张图片合成MP4视频并加入背景音乐
2022/04/28 Python