Python检测生僻字的实现方法


Posted in Python onOctober 23, 2016

解决思路

首先想到的就是利用 python 的正则表达式来匹配非法字符,然后找出非法记录。然而理想总是丰满的,现实却是残酷的。在实现的过程中,才发现自己对于字符编码、以及 python 内部字符串表示的相关知识的缺乏。在这期间,踩过了不少坑,到最后虽然还有些模糊的地方,但总算有一个总体清晰的了解。在此记录下心得,避免以后在同一个地方跌倒。

以下的测试环境是 ArcGIS 10.3 自带的 python 2.7.8 环境,不保证其他 python 环境也适用。

python 正则表达式

python 中的正则功能由内嵌的 re 函数库提供,主要用到 3 个函数。re.compile() 提供可重用的正则表达式,match() search() 函数返回匹配结果,两者之间的区别在于: match() 从指定位置开始匹配,search() 会从指定位置向后搜索直到找到匹配字符串。例如下面的代码中,match_result 从第一个字符 f 开始匹配,匹配失败返回空值;search_result 从 f 开始向后搜索,直到找到第一个匹配的字符 a, 然后通过 group() 函数输出匹配结果为字符 a。

import re

pattern = re.compile('[abc]')
match_result = pattern.match('fabc')
if match_result:
 print match_result.group()

search_result = pattern.search('fabc')
if search_result:
 print search_result.group()

以上的实现方式需要先编译一个 pattern,然后再进行匹配。实际上,我们可以直接利用 re.match(pattern, string) 函数来实现相同的功能。但是直接匹配的方式没有先编译再匹配的方式灵活,首先是正则表达式没办法重用,如果大量数据进行同一模式匹配,意味着每次都需要内部编译,造成性能损失;另外,re.match() 函数没有 pattern.match() 功能强大,后者可以指定从哪个位置开始匹配。

编码问题

了解 python 正则的基本功能后,剩下的事情就是找到一个合适的正则表达式来匹配生僻字和非法字符。非法字符很简单,采用以下 pattern 就可以实现匹配:

pattern = re.compile(r'[~!@#$%^&* ]')

然而对于生僻字的匹配,着实难倒了我。首先是对于生僻字的定义,什么样的字算生僻字?经过咨询项目经理,规定非 GB2312 的字符属于生僻字。接下来的问题是,如何匹配 GB2312 字符?

经过查询,GB2312 的范围是 [\xA1-\xF7][\xA1-\xFE] ,其中汉字区的范围是 [\xB0-\xF7][\xA1-\xFE] 。因此,添加生僻字匹配后的表达式为:

pattern = re.compile(r'[~!@#$%^&* ]|[^\xA1-\xF7][^\xA1-\xFE]')

问题似乎是顺理得当地解决了,然而我还是 too simple too naive 。由于要判断的字符串都是从图层文件读取的,arcpy 贴心地将读取的字符编码为 unicode 格式。因此,我需要找出 GB2312 字符集在 unicode 中的编码范围。但现实是,GB2312 字符集在 unicode 中的分布并不是连续的,使用正则表示这个范围必定是非常复杂的。使用正则表达式匹配生僻字的构想,似乎陷入了死胡同。

解决方案

既然提供的字符串是 unicode 格式,那么我可不可以将其转换为 GB2312 再进行匹配呢?实际上是不行,因为 unicode 字符集要远大于 GB2312 字符集,因此 GB2312 => unicode 总是可以实现的,而反过来 unicode => GB2312 不一定能成功。

这突然为我提供了另外一种思路,假设一个字符串的 unicode => GB2312 转换会失败,那么是不是恰恰说明了它不属于 GB2312 字符集?所以,我使用 unicode_string.encode('GB2312') 函数尝试转换字符串,捕获 UnicodeEncodeError 异常来识别生僻字。

最终的代码如下:

import re

def is_rare_name(string):
 pattern = re.compile(u"[~!@#$%^&* ]")
 match = pattern.search(string)
 if match:
 return True

 try:
    string.encode("gb2312")
  except UnicodeEncodeError:
   return True

  return False

总结

以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作能带来一定的帮助,如果有疑问大家可以留言交流。

Python 相关文章推荐
Python中DJANGO简单测试实例
May 11 Python
Python简单连接MongoDB数据库的方法
Mar 15 Python
Python 描述符(Descriptor)入门
Nov 20 Python
浅谈numpy中linspace的用法 (等差数列创建函数)
Jun 07 Python
基于windows下pip安装python模块时报错总结
Jun 12 Python
对python3中, print横向输出的方法详解
Jan 28 Python
Python Selenium 之数据驱动测试的实现
Aug 01 Python
Python 内置函数globals()和locals()对比详解
Dec 23 Python
Python栈的实现方法示例【列表、单链表】
Feb 22 Python
python进行参数传递的方法
May 12 Python
django admin 根据choice字段选择的不同来显示不同的页面方式
May 13 Python
django美化后台django-suit的安装配置操作
Jul 12 Python
python 写入csv乱码问题解决方法
Oct 23 #Python
解决Python中字符串和数字拼接报错的方法
Oct 23 #Python
python 读写txt文件 json文件的实现方法
Oct 22 #Python
Python类属性的延迟计算
Oct 22 #Python
如何在Python函数执行前后增加额外的行为
Oct 20 #Python
如何利用Fabric自动化你的任务
Oct 20 #Python
windows下ipython的安装与使用详解
Oct 20 #Python
You might like
PHP 反射机制实现动态代理的代码
2008/10/22 PHP
深入理解PHP中的Streams工具
2015/07/03 PHP
php将文件夹打包成zip文件的简单实现方法
2016/10/04 PHP
JavaScript delete操作符应用实例
2009/01/13 Javascript
使用js对select动态添加和删除OPTION示例代码
2013/08/12 Javascript
js 文本滚动效果的实例代码
2013/08/17 Javascript
JavaScript中通过prototype属性共享属性和方法的技巧实例
2015/03/13 Javascript
简介JavaScript中的getUTCFullYear()方法的使用
2015/06/10 Javascript
JavaScript检测并限制复选框选中个数的方法
2015/08/12 Javascript
Bootstrap每天必学之js插件
2015/11/30 Javascript
AngularJS控制器controller正确的通信的方法
2016/01/25 Javascript
谈谈JavaScript数组常用方法总结
2017/01/24 Javascript
微信小程序滚动Tab实现左右可滑动切换
2017/08/17 Javascript
vue 内置过滤器的使用总结(附加自定义过滤器)
2018/12/11 Javascript
说说Vue.js中的functional函数化组件的使用
2019/02/12 Javascript
vue中实现上传文件给后台实例详解
2019/08/22 Javascript
vue设置一开始进入的页面教程
2019/10/28 Javascript
Vue路由守卫及页面登录权限控制的设置方法(两种)
2020/03/31 Javascript
在Vue 中获取下拉框的文本及选项值操作
2020/08/13 Javascript
[02:49]2014DOTA2电竞也是体育项目! 势要把荣誉带回中国!
2014/07/20 DOTA
[01:32:22]DOTA2-DPC中国联赛 正赛 Ehome vs VG BO3 第一场 2月5日
2021/03/11 DOTA
把大数据数字口语化(python与js)两种实现
2013/02/21 Python
Mac中Python 3环境下安装scrapy的方法教程
2017/10/26 Python
python简单实例训练(21~30)
2017/11/15 Python
给我一面国旗 python帮你实现
2019/09/30 Python
Python log模块logging记录打印用法解析
2020/01/20 Python
python编程进阶之异常处理用法实例分析
2020/02/21 Python
芬兰设计商店美国:Finnish Design Shop US
2019/03/25 全球购物
LN-CC日本:高端男装和女装的奢侈时尚目的地
2019/09/01 全球购物
存储过程的优缺点是什么
2015/01/10 面试题
交通专业个人自荐信格式
2013/09/23 职场文书
药品质量检测应届生求职信
2013/11/14 职场文书
房产转让协议书
2014/04/11 职场文书
班子四风对照检查材料
2014/08/21 职场文书
关于教师节的广播稿
2015/08/19 职场文书
变长双向rnn的正确使用姿势教学
2021/05/31 Python