关于PHP的相似度计算函数:levenshtein的使用介绍


Posted in PHP onApril 15, 2013

使用说明
先看手册上 levenshtein() 函数的说明:

levenshtein() 函数返回两个字符串之间的 Levenshtein 距离。

Levenshtein 距离,又称编辑距离,指的是两个字符串之间,由一个转换成另一个所需的最少编辑操作次数。许可的编辑操作包括将一个字符替换成另一个字符,插入一个字符,删除一个字符。

例如把 kitten 转换为 sitting:

sitten (k→s)
sittin (e→i)
sitting (→g)levenshtein() 函数给每个操作(替换、插入和删除)相同的权重。不过,您可以通过设置可选的 insert、replace、delete 参数,来定义每个操作的代价。

语法:

levenshtein(string1,string2,insert,replace,delete)

参数 描述

string1 必需。要对比的第一个字符串。
string2 必需。要对比的第二个字符串。
insert 可选。插入一个字符的代价。默认是 1。
replace 可选。替换一个字符的代价。默认是 1。
delete 可选。删除一个字符的代价。默认是 1。
提示和注释

如果其中一个字符串超过 255 个字符,levenshtein() 函数返回 -1。
levenshtein() 函数对大小写不敏感。
levenshtein() 函数比 similar_text() 函数更快。不过,similar_text() 函数提供需要更少修改的更精确的结果。
例子

<?php
    echo levenshtein("Hello World","ello World");
    echo "<br />";
    echo levenshtein("Hello World","ello World",10,20,30);
    ?>

输出: 1 30

源码分析
levenshtein() 属于标准函数,在/ext/standard/目录下有专门针对此函数实现的文件:levenshtein.c。

levenshtein()会根据参数个数选择实现方式,针对参数为2和参数为5的情况,都会调用 reference_levdist() 函数计算距离。其不同在于对后三个参数,参数为2时,使用默认值1。

并且在实现源码中我们发现了一个在文档中没有说明的情况: levenshtein() 函数还可以传递三个参数,其最终会调用 custom_levdist() 函数。它将第三个参数作为自定义函数的实现,其调用示例如下:

echo levenshtein("Hello World","ello World", 'strsub');

执行会报Warning: The general Levenshtein support is not there yet。这是因为现在这个方法还没有实现,仅仅是放了一个坑在那。

reference_levdist() 函数的实现算法是一个经典的DP问题。

给定两个字符串x和y,求最少的修改次数将x变成y。修改的规则只能是如下三种之一:删除、插入、改变。
用a[i][j]表示把x的前i个字符变成y的前j个字符所需的最少操作次数,则状态转移方程为:

当x[i]==y[j]时:a[i][j]  = min(a[i-1][j-1], a[i-1][j]+1, a[i][j-1]+1);
当x[i]!=y[j]时:a[i][j] =  min(a[i-1][j-1], a[i-1][j], a[i][j-1])+1;

在用状态转移方程前,我们需要初始化(n+1)(m+1)的矩阵d,并让第一行和列的值从0开始增长。 扫描两字符串(nm级的),对比字符,使用状态转移方程,最终$a[$l1][$l2]为其结果。

简单实现过程如下:

<?PHP
    $s1 = "abcdd";
    $l1 = strlen($s1);
    $s2 = "aabbd";
    $l2 = strlen($s2); 
    for ($i = 0; $i < $l1; $i++) {
        $a[0][$i + 1] = $i + 1;
    }
    for ($i = 0; $i < $l2; $i++) {
        $a[$i + 1][0] = $i + 1;
    }
    for ($i = 0; $i < $l2; $i++) {
        for ($j = 0; $j < $l1; $j++) {
            if ($s2[$i] == $s1[$j]) {
                $a[$i + 1][$j + 1] = min($a[$i][$j], $a[$i][$j + 1] + 1, $a[$i + 1][$j] + 1);
            }else{
                $a[$i + 1][$j + 1] = min($a[$i][$j], $a[$i][$j + 1], $a[$i + 1][$j]) + 1;
            }
        }
    }
    echo $a[$l1][$l2];
    echo "n";
    echo levenshtein($s1, $s2);

在PHP的实现中,实现者在注释中很清楚的标明:此函数仅优化了内存使用,而没有考虑速度,从其实现算法看,时间复杂度为O(m×n)。其优化点在于将上面的状态转移方程中的二维数组变成了两个一组数组。简单实现如下:
<?PHP
    $s1 = "abcjfdkslfdd";
    $l1 = strlen($s1);
    $s2 = "aab84093840932bd";
    $l2 = strlen($s2);    $dis = 0;
    for ($i = 0; $i <= $l2; $i++){
        $p1[$i] = $i;
    }
    for ($i = 0; $i < $l1; $i++){
        $p2[0] = $p1[0] + 1;
        for ($j = 0; $j < $l2; $j++){
            if ($s1[$i] == $s2[$j]){
                $dis = min($p1[$j], $p1[$j + 1] + 1, $p2[$j] + 1);
            }else{
                $dis = min($p1[$j] + 1, $p1[$j + 1] + 1, $p2[$j] + 1);  // 注意这里最后一个参数为$p2  
            }
            $p2[$j + 1] = $dis;
        }
        $tmp = $p1;
        $p1 = $p2;
        $p2 = $tmp;  
    }
    echo "n";
    echo $p1[$l2];
    echo "n";
    echo levenshtein($s1, $s2);

如上为PHP内核开发者对前面经典DP的优化,其优化点在于不停的复用两个一维数组,一个记录上次的结果,一个记录这一次的结果。如果按照PHP的参数,分别给三个操作赋值不同的值,在上面的算法中将对应的1变成操作对应的值就可以了。 min函数的第一个参数对应的是修改,第二个参数对应的是删除源码天空,第三个参数对应的是添加。

Levenshtein distance说明
Levenshtein distance最先是由俄国科学家Vladimir Levenshtein在1965年发明,用他的名字命名。不会拼读,可以叫它edit distance(编辑距离)。Levenshtein distance可以用来:
Spell checking(拼写检查)
Speech recognition(语句识别)
DNA analysis(DNA分析)
Plagiarism detection(抄袭检测) LD用mn的矩阵存储距离值。

PHP 相关文章推荐
dede全站URL静态化改造[070414更正]
Apr 17 PHP
php IP及IP段进行访问限制的代码
Dec 17 PHP
PHP 强制下载文件代码
Oct 24 PHP
PHP树的深度编历生成迷宫及A*自动寻路算法实例分析
Mar 10 PHP
PHP中应该避免使用同名变量(拆分临时变量)
Apr 03 PHP
yii2分页之实现跳转到具体某页的实例代码
Jun 02 PHP
利用PHP抓取百度阅读的方法示例
Dec 18 PHP
thinkPHP分页功能实例详解
May 05 PHP
PHPTree――php快速生成无限级分类
Mar 30 PHP
php输出控制函数和输出函数生成静态页面
Jun 27 PHP
PHP pthreads v3下同步处理synchronized用法示例
Feb 21 PHP
php设计模式之模板模式实例分析【星际争霸游戏案例】
Mar 24 PHP
关于PHP递归算法和应用方法介绍
Apr 15 #PHP
PHP 读取Postgresql中的数组
Apr 14 #PHP
php简单开启gzip压缩方法(zlib.output_compression)
Apr 13 #PHP
做了CDN获取用户真实IP的函数代码(PHP与Asp设置方式)
Apr 13 #PHP
php检测图片木马多进制编程实践
Apr 11 #PHP
谈谈关于php的优点与缺点
Apr 11 #PHP
如何用PHP实现插入排序?
Apr 10 #PHP
You might like
详解PHP中strlen和mb_strlen函数的区别
2014/03/07 PHP
autoPlay 基于jquery的图片自动播放效果
2011/12/07 Javascript
用js实现控件的隐藏及style.visibility的使用
2013/06/14 Javascript
js格式化货币数据实现代码
2013/09/04 Javascript
setTimeout()与setInterval()方法区别介绍
2013/12/24 Javascript
js中浮点型运算BUG的解决方法说明
2014/01/06 Javascript
jQuery setTimeout传递字符串参数报错的解决方法
2014/06/09 Javascript
IE8中使用javascript动态加载CSS的解决方法
2014/06/17 Javascript
javascript实现禁止鼠标滚轮事件
2015/07/24 Javascript
JQuery自适应窗口大小导航菜单附源码下载
2015/09/01 Javascript
基于jQuery通过jQuery.form.js插件实现异步上传
2015/12/13 Javascript
基于javascript实现图片预加载
2016/01/05 Javascript
Bootstrap开关(switch)控件学习笔记分享
2016/05/30 Javascript
AngularJS基础 ng-init 指令简单示例
2016/08/02 Javascript
form+iframe解决跨域上传文件的方法
2016/11/18 Javascript
JS验证input输入框(字母,数字,符号,中文)
2017/03/23 Javascript
Bootstrap 按钮样式与使用代码详解
2018/12/09 Javascript
vue移动端屏幕适配详解
2019/04/30 Javascript
vue项目前端错误收集之sentry教程详解
2019/05/27 Javascript
优雅的处理vue项目异常实战记录
2019/06/05 Javascript
你不知道的 TypeScript 高级类型(小结)
2020/08/28 Javascript
pytorch之inception_v3的实现案例
2020/01/06 Python
Python基于Socket实现简单聊天室
2020/02/17 Python
纯css3无js实现的Android Logo(有简单动画)
2013/01/21 HTML / CSS
新加坡一家在线男士皮具品牌:Faire Leather Co.
2019/12/01 全球购物
Trench London官方网站:高级风衣和意大利皮夹克
2020/07/11 全球购物
考试不及格的检讨书
2014/01/22 职场文书
关于运动会的广播稿50字
2014/10/17 职场文书
全陪导游词
2015/02/04 职场文书
2015年12.4全国法制宣传日活动总结
2015/03/24 职场文书
不同意离婚代理词
2015/05/23 职场文书
2015初中教导处工作总结
2015/07/21 职场文书
礼貌问候语大全
2015/11/10 职场文书
2016年五一国际劳动节活动总结
2016/04/06 职场文书
汽车销售合同文本
2019/08/08 职场文书
HTTP中的Content-type详解
2022/01/18 HTML / CSS