关于PHP的相似度计算函数:levenshtein的使用介绍


Posted in PHP onApril 15, 2013

使用说明
先看手册上 levenshtein() 函数的说明:

levenshtein() 函数返回两个字符串之间的 Levenshtein 距离。

Levenshtein 距离,又称编辑距离,指的是两个字符串之间,由一个转换成另一个所需的最少编辑操作次数。许可的编辑操作包括将一个字符替换成另一个字符,插入一个字符,删除一个字符。

例如把 kitten 转换为 sitting:

sitten (k→s)
sittin (e→i)
sitting (→g)levenshtein() 函数给每个操作(替换、插入和删除)相同的权重。不过,您可以通过设置可选的 insert、replace、delete 参数,来定义每个操作的代价。

语法:

levenshtein(string1,string2,insert,replace,delete)

参数 描述

string1 必需。要对比的第一个字符串。
string2 必需。要对比的第二个字符串。
insert 可选。插入一个字符的代价。默认是 1。
replace 可选。替换一个字符的代价。默认是 1。
delete 可选。删除一个字符的代价。默认是 1。
提示和注释

如果其中一个字符串超过 255 个字符,levenshtein() 函数返回 -1。
levenshtein() 函数对大小写不敏感。
levenshtein() 函数比 similar_text() 函数更快。不过,similar_text() 函数提供需要更少修改的更精确的结果。
例子

<?php
    echo levenshtein("Hello World","ello World");
    echo "<br />";
    echo levenshtein("Hello World","ello World",10,20,30);
    ?>

输出: 1 30

源码分析
levenshtein() 属于标准函数,在/ext/standard/目录下有专门针对此函数实现的文件:levenshtein.c。

levenshtein()会根据参数个数选择实现方式,针对参数为2和参数为5的情况,都会调用 reference_levdist() 函数计算距离。其不同在于对后三个参数,参数为2时,使用默认值1。

并且在实现源码中我们发现了一个在文档中没有说明的情况: levenshtein() 函数还可以传递三个参数,其最终会调用 custom_levdist() 函数。它将第三个参数作为自定义函数的实现,其调用示例如下:

echo levenshtein("Hello World","ello World", 'strsub');

执行会报Warning: The general Levenshtein support is not there yet。这是因为现在这个方法还没有实现,仅仅是放了一个坑在那。

reference_levdist() 函数的实现算法是一个经典的DP问题。

给定两个字符串x和y,求最少的修改次数将x变成y。修改的规则只能是如下三种之一:删除、插入、改变。
用a[i][j]表示把x的前i个字符变成y的前j个字符所需的最少操作次数,则状态转移方程为:

当x[i]==y[j]时:a[i][j]  = min(a[i-1][j-1], a[i-1][j]+1, a[i][j-1]+1);
当x[i]!=y[j]时:a[i][j] =  min(a[i-1][j-1], a[i-1][j], a[i][j-1])+1;

在用状态转移方程前,我们需要初始化(n+1)(m+1)的矩阵d,并让第一行和列的值从0开始增长。 扫描两字符串(nm级的),对比字符,使用状态转移方程,最终$a[$l1][$l2]为其结果。

简单实现过程如下:

<?PHP
    $s1 = "abcdd";
    $l1 = strlen($s1);
    $s2 = "aabbd";
    $l2 = strlen($s2); 
    for ($i = 0; $i < $l1; $i++) {
        $a[0][$i + 1] = $i + 1;
    }
    for ($i = 0; $i < $l2; $i++) {
        $a[$i + 1][0] = $i + 1;
    }
    for ($i = 0; $i < $l2; $i++) {
        for ($j = 0; $j < $l1; $j++) {
            if ($s2[$i] == $s1[$j]) {
                $a[$i + 1][$j + 1] = min($a[$i][$j], $a[$i][$j + 1] + 1, $a[$i + 1][$j] + 1);
            }else{
                $a[$i + 1][$j + 1] = min($a[$i][$j], $a[$i][$j + 1], $a[$i + 1][$j]) + 1;
            }
        }
    }
    echo $a[$l1][$l2];
    echo "n";
    echo levenshtein($s1, $s2);

在PHP的实现中,实现者在注释中很清楚的标明:此函数仅优化了内存使用,而没有考虑速度,从其实现算法看,时间复杂度为O(m×n)。其优化点在于将上面的状态转移方程中的二维数组变成了两个一组数组。简单实现如下:
<?PHP
    $s1 = "abcjfdkslfdd";
    $l1 = strlen($s1);
    $s2 = "aab84093840932bd";
    $l2 = strlen($s2);    $dis = 0;
    for ($i = 0; $i <= $l2; $i++){
        $p1[$i] = $i;
    }
    for ($i = 0; $i < $l1; $i++){
        $p2[0] = $p1[0] + 1;
        for ($j = 0; $j < $l2; $j++){
            if ($s1[$i] == $s2[$j]){
                $dis = min($p1[$j], $p1[$j + 1] + 1, $p2[$j] + 1);
            }else{
                $dis = min($p1[$j] + 1, $p1[$j + 1] + 1, $p2[$j] + 1);  // 注意这里最后一个参数为$p2  
            }
            $p2[$j + 1] = $dis;
        }
        $tmp = $p1;
        $p1 = $p2;
        $p2 = $tmp;  
    }
    echo "n";
    echo $p1[$l2];
    echo "n";
    echo levenshtein($s1, $s2);

如上为PHP内核开发者对前面经典DP的优化,其优化点在于不停的复用两个一维数组,一个记录上次的结果,一个记录这一次的结果。如果按照PHP的参数,分别给三个操作赋值不同的值,在上面的算法中将对应的1变成操作对应的值就可以了。 min函数的第一个参数对应的是修改,第二个参数对应的是删除源码天空,第三个参数对应的是添加。

Levenshtein distance说明
Levenshtein distance最先是由俄国科学家Vladimir Levenshtein在1965年发明,用他的名字命名。不会拼读,可以叫它edit distance(编辑距离)。Levenshtein distance可以用来:
Spell checking(拼写检查)
Speech recognition(语句识别)
DNA analysis(DNA分析)
Plagiarism detection(抄袭检测) LD用mn的矩阵存储距离值。

PHP 相关文章推荐
可定制的PHP缩略图生成程式(需要GD库支持)
Mar 06 PHP
php桌面中心(一) 创建数据库
Mar 11 PHP
PHP详细彻底学习Smarty
Mar 27 PHP
php实现把数组按指定的个数分隔
Feb 17 PHP
php实现天干地支计算器示例
Mar 14 PHP
PHP编写学校网站上新生注册登陆程序的实例分享
Mar 21 PHP
PHP中PDO的事务处理分析
Apr 07 PHP
php使用文本统计访问量的方法
May 12 PHP
Yii2分页的使用及其扩展方法详解
May 23 PHP
一个简单安全的PHP验证码类 附调用方法
Jun 24 PHP
js基于qrcode.js生成二维码的方法【附demo插件源码下载】
Dec 28 PHP
tp5.1 框架数据库-数据集操作实例分析
May 26 PHP
关于PHP递归算法和应用方法介绍
Apr 15 #PHP
PHP 读取Postgresql中的数组
Apr 14 #PHP
php简单开启gzip压缩方法(zlib.output_compression)
Apr 13 #PHP
做了CDN获取用户真实IP的函数代码(PHP与Asp设置方式)
Apr 13 #PHP
php检测图片木马多进制编程实践
Apr 11 #PHP
谈谈关于php的优点与缺点
Apr 11 #PHP
如何用PHP实现插入排序?
Apr 10 #PHP
You might like
十天学会php之第三天
2006/10/09 PHP
php新建文件自动编号的思路与实现
2011/06/27 PHP
php调用dll的实例操作动画与代码分享
2012/08/14 PHP
基于PHP读取csv文件内容的详解
2013/06/18 PHP
php var_export与var_dump 输出的不同
2013/08/09 PHP
php入门教程之Zend Studio设置与开发实例
2016/09/09 PHP
php魔术方法功能与用法实例分析
2016/10/19 PHP
PHP开发api接口安全验证操作实例详解
2020/03/26 PHP
背景音乐每次刷新都可以自动更换
2007/02/01 Javascript
扩展jQuery 键盘事件的几个基本方法
2009/10/30 Javascript
jQuery.lazyload+masonry改良图片瀑布流代码
2014/06/20 Javascript
让javascript加载速度倍增的方法(解决JS加载速度慢的问题)
2014/12/12 Javascript
jQuery中attr()方法用法实例
2015/01/05 Javascript
JavaScript中继承用法实例分析
2015/05/16 Javascript
js实现简单折叠、展开菜单的方法
2015/08/28 Javascript
详解Javascript函数声明与递归调用
2016/10/22 Javascript
JavaScript实现弹窗效果代码分析
2017/03/09 Javascript
JavaScript+Html5实现按钮复制文字到剪切板功能(手机网页兼容)
2017/03/30 Javascript
webpack教程之webpack.config.js配置文件
2017/07/05 Javascript
利用纯JS实现像素逐渐显示的方法示例
2017/08/14 Javascript
vue实现路由切换改变title功能
2019/05/28 Javascript
基于Vue实现电商SKU组合算法问题
2019/05/29 Javascript
jQuery中DOM常见操作实例小结
2019/08/01 jQuery
vue 将多个过滤器封装到一个文件中的代码详解
2020/09/05 Javascript
Python引用传值概念与用法实例小结
2017/10/07 Python
python2.7实现爬虫网页数据
2018/05/25 Python
Python生成短uuid的方法实例详解
2018/05/29 Python
Python实现处理逆波兰表达式示例
2018/07/30 Python
pytorch对可变长度序列的处理方法详解
2018/12/08 Python
Appium+python自动化之连接模拟器并启动淘宝APP(超详解)
2019/06/17 Python
PyCharm License Activation激活码失效问题的解决方法(图文详解)
2020/03/12 Python
新秀丽拉杆箱美国官方网站:Samsonite美国
2016/07/25 全球购物
会计学专业自荐信
2014/06/25 职场文书
大学生活动总结模板
2014/07/02 职场文书
如何使用Python对NetCDF数据做空间相关分析
2021/04/21 Python
Netty分布式客户端接入流程初始化源码分析
2022/03/25 Java/Android