PHP中使用正则表达式提取中文实现笔记


Posted in PHP onJanuary 20, 2015

最近老板叫做一个数据查重的小练习,涉及从一个包含中文字段的文件中提取出其中的中文字段并存储,使用php开发。中间涉及到php正则表达式中文匹配的问题,网上搜罗一大片,但是也很乱没有一个准信儿,经过自己的代码的修改和检验,先将extract函数写下。

首先要注意到的是,双字节字符的编码问题,这里我们以后还可能会遇到像韩文、日文等编码问题,与中文理解上是一个意思。

1. GBK (GB2312/GB18030)

\x00-\xff GBK双字节编码范围   

\x20-\x7f ASCII   

\xa1-\xff 中文 gb2312   

\x80-\xff 中文 gbk  
 
2. UTF-8 (Unicode)
\u4e00-\u9fa5 (中文)   

\x3130-\x318F (韩文   

\xAC00-\xD7A3 (韩文)   

\u0800-\u4e00 (日文) 

在Notepad++下面,我们可以首先进行测试我们的正则书写的错误与否。第一个表达式我是使用[\u4e00-\u9fa5]+来检验的,+号表示不止一个

PHP中使用正则表达式提取中文实现笔记

匹配符。结果与预期相同,那么,是否在脚本中就可以使用这个正则了呢?

我们测试一下,我们使用preg_match_all(‘/[\u4e00-\u9fa5]+/', $subject,$matches)调用,然后你却看到了这么一个结果:Compilation failed: PCRE does not support \L, \l, \N{name}, \U, or \u at offset 2。。。。是不是很头大??这究竟是什么原因?

查阅了很多资料后发现,u (PCRE_UTF8),就是上面的PCRE,这是是一个Perl库,包括 perl 兼容的正规表达式库。此修正符启用了一个 PCRE 中与 Perl 不兼容的额外功能。模式字符串被当成 UTF-8。本修正符在 Unix 下自 PHP 4.1.0 起可用,在 win32 下自 PHP 4.2.3 起可用。而php正则表达式对于十六进制数据的表达方式上也有所不同,在php中,是用\x表示十六进制数据的。下面我们就将代码优化一下,检测函数变为:

 class storeDataAdapter extends Store{   

        private $dsData;   

        /**  

         * 数据转换函数,调用preg_match_all根据$pattern正则来进行数值匹配,并将返回的结果以数组形式存储在$matches中,  

         * $matches[0]将包含与整个模式匹配的文本,$matches[1] 将包含与第一个捕获的括号中的子模式所匹配的文本,以此类推  

         * @see Store::data_convert()  

         */  

        public function data_convert($pattern,$subject) {   

            $matches=array();   

            if (preg_match_all($pattern, $subject,$matches)){   

                return $matches[0];   

            }else    

            {   

                return null;   

            }   

        }   

    } 

调用的时候变为:

 $store=new storeDataAdapter($txtContent);   

    $match=array();   

    $dsName=$store->data_convert(‘/[\x7f-\xff]+/',$txtContent);   

    foreach ($dsName as $val){   

        echo $val."<br>";   

    }  

输入文件为:

PHP中使用正则表达式提取中文实现笔记

,下面是提取出中文之后的输出文件内容:

PHP中使用正则表达式提取中文实现笔记

,符合预期需求。

PHP 相关文章推荐
在同一窗体中使用PHP来处理多个提交任务
Oct 09 PHP
在PHP中执行系统外部命令
Oct 09 PHP
vBulletin HACK----显示话题大小和打开新窗口于论坛索引页
Oct 09 PHP
用php的ob_start来生成静态页面的方法分析
Mar 09 PHP
深入解析PHP中的(伪)多线程与多进程
Jul 01 PHP
php字符串过滤与替换小结
Jan 26 PHP
分享一则PHP定义函数代码
Feb 26 PHP
php实现网页端验证码功能
Jul 11 PHP
thinkPHP框架实现类似java过滤器的简单方法示例
Sep 05 PHP
redis+php实现微博(二)发布与关注功能详解
Sep 23 PHP
laravel框架实现敏感词汇过滤功能示例
Feb 15 PHP
PHP实现文件上传后台处理脚本
Mar 04 PHP
php中的观察者模式简单实例
Jan 20 #PHP
php 5.6版本中编写一个PHP扩展的简单示例
Jan 20 #PHP
PHP函数extension_loaded()用法实例
Jan 19 #PHP
php使用正则表达式获取图片url的方法
Jan 16 #PHP
php使用CURL伪造IP和来源实例详解
Jan 15 #PHP
php+mysql实现无限分类实例详解
Jan 15 #PHP
php截取html字符串及自动补全html标签的方法
Jan 15 #PHP
You might like
PHP用mysql数据库存储session的代码
2010/03/05 PHP
php学习笔记 php中面向对象三大特性之一[封装性]的应用
2011/06/13 PHP
ThinkPHP多表联合查询的常用方法
2020/03/24 PHP
ThinkPHP采用GET方式获取中文参数查询无结果的解决方法
2014/06/26 PHP
合格的PHP程序员必备技能
2015/11/13 PHP
Yii实现Command任务处理的方法详解
2016/07/14 PHP
php mysql 封装类实例代码
2016/09/18 PHP
Javascript代码混淆综合解决方案-Javascript在线混淆器
2006/12/18 Javascript
Jquery加载时从后台读取数据绑定到dropdownList实例
2013/06/09 Javascript
JavaScript实现简单的数字倒计时
2015/05/15 Javascript
基于jquery实现表格内容筛选功能实例解析
2016/05/09 Javascript
Bootstrap模态框插件使用详解
2017/05/11 Javascript
Vue应用部署到服务器的正确方式
2017/07/15 Javascript
Vue响应式原理深入解析及注意事项
2017/12/11 Javascript
JS实现延迟隐藏功能的方法(类似QQ头像鼠标放上展示信息)
2017/12/28 Javascript
js实现弹出框的拖拽效果实例代码详解
2019/04/16 Javascript
Vue的生命周期操作示例
2019/09/17 Javascript
Vue学习之常用指令实例详解
2020/01/06 Javascript
nodejs各种姿势断点调试的方法
2020/06/18 NodeJs
Vue实现图书管理小案例
2020/12/03 Vue.js
[08:40]Navi Vs Newbee
2018/06/07 DOTA
python通过正则查找微博@(at)用户的方法
2015/03/13 Python
Python学习小技巧之列表项的排序
2017/05/20 Python
pygame实现弹力球及其变速效果
2017/07/03 Python
Python实现KNN邻近算法
2021/01/28 Python
分析经典Python开发工程师面试题
2019/04/08 Python
python GUI库图形界面开发之PyQt5菜单栏控件QMenuBar的详细使用方法与实例
2020/02/28 Python
Python Socket TCP双端聊天功能实现过程详解
2020/06/15 Python
如何编写python的daemon程序
2021/01/07 Python
python 装饰器重要在哪
2021/02/14 Python
Gtech官方网站:地毯清洁器、吸尘器及园艺设备
2018/05/23 全球购物
易程科技软件测试笔试
2013/03/24 面试题
理货员的岗位职责
2013/11/23 职场文书
初中毕业生自我评价
2015/03/02 职场文书
SQL语句多表联合查询的方法示例
2022/04/18 MySQL
Golang 实现 WebSockets 之创建 WebSockets
2022/04/24 Golang