关于PHP的相似度计算函数:levenshtein的使用介绍


Posted in PHP onApril 15, 2013

使用说明
先看手册上 levenshtein() 函数的说明:

levenshtein() 函数返回两个字符串之间的 Levenshtein 距离。

Levenshtein 距离,又称编辑距离,指的是两个字符串之间,由一个转换成另一个所需的最少编辑操作次数。许可的编辑操作包括将一个字符替换成另一个字符,插入一个字符,删除一个字符。

例如把 kitten 转换为 sitting:

sitten (k→s)
sittin (e→i)
sitting (→g)levenshtein() 函数给每个操作(替换、插入和删除)相同的权重。不过,您可以通过设置可选的 insert、replace、delete 参数,来定义每个操作的代价。

语法:

levenshtein(string1,string2,insert,replace,delete)

参数 描述

string1 必需。要对比的第一个字符串。
string2 必需。要对比的第二个字符串。
insert 可选。插入一个字符的代价。默认是 1。
replace 可选。替换一个字符的代价。默认是 1。
delete 可选。删除一个字符的代价。默认是 1。
提示和注释

如果其中一个字符串超过 255 个字符,levenshtein() 函数返回 -1。
levenshtein() 函数对大小写不敏感。
levenshtein() 函数比 similar_text() 函数更快。不过,similar_text() 函数提供需要更少修改的更精确的结果。
例子

<?php
    echo levenshtein("Hello World","ello World");
    echo "<br />";
    echo levenshtein("Hello World","ello World",10,20,30);
    ?>

输出: 1 30

源码分析
levenshtein() 属于标准函数,在/ext/standard/目录下有专门针对此函数实现的文件:levenshtein.c。

levenshtein()会根据参数个数选择实现方式,针对参数为2和参数为5的情况,都会调用 reference_levdist() 函数计算距离。其不同在于对后三个参数,参数为2时,使用默认值1。

并且在实现源码中我们发现了一个在文档中没有说明的情况: levenshtein() 函数还可以传递三个参数,其最终会调用 custom_levdist() 函数。它将第三个参数作为自定义函数的实现,其调用示例如下:

echo levenshtein("Hello World","ello World", 'strsub');

执行会报Warning: The general Levenshtein support is not there yet。这是因为现在这个方法还没有实现,仅仅是放了一个坑在那。

reference_levdist() 函数的实现算法是一个经典的DP问题。

给定两个字符串x和y,求最少的修改次数将x变成y。修改的规则只能是如下三种之一:删除、插入、改变。
用a[i][j]表示把x的前i个字符变成y的前j个字符所需的最少操作次数,则状态转移方程为:

当x[i]==y[j]时:a[i][j]  = min(a[i-1][j-1], a[i-1][j]+1, a[i][j-1]+1);
当x[i]!=y[j]时:a[i][j] =  min(a[i-1][j-1], a[i-1][j], a[i][j-1])+1;

在用状态转移方程前,我们需要初始化(n+1)(m+1)的矩阵d,并让第一行和列的值从0开始增长。 扫描两字符串(nm级的),对比字符,使用状态转移方程,最终$a[$l1][$l2]为其结果。

简单实现过程如下:

<?PHP
    $s1 = "abcdd";
    $l1 = strlen($s1);
    $s2 = "aabbd";
    $l2 = strlen($s2); 
    for ($i = 0; $i < $l1; $i++) {
        $a[0][$i + 1] = $i + 1;
    }
    for ($i = 0; $i < $l2; $i++) {
        $a[$i + 1][0] = $i + 1;
    }
    for ($i = 0; $i < $l2; $i++) {
        for ($j = 0; $j < $l1; $j++) {
            if ($s2[$i] == $s1[$j]) {
                $a[$i + 1][$j + 1] = min($a[$i][$j], $a[$i][$j + 1] + 1, $a[$i + 1][$j] + 1);
            }else{
                $a[$i + 1][$j + 1] = min($a[$i][$j], $a[$i][$j + 1], $a[$i + 1][$j]) + 1;
            }
        }
    }
    echo $a[$l1][$l2];
    echo "n";
    echo levenshtein($s1, $s2);

在PHP的实现中,实现者在注释中很清楚的标明:此函数仅优化了内存使用,而没有考虑速度,从其实现算法看,时间复杂度为O(m×n)。其优化点在于将上面的状态转移方程中的二维数组变成了两个一组数组。简单实现如下:
<?PHP
    $s1 = "abcjfdkslfdd";
    $l1 = strlen($s1);
    $s2 = "aab84093840932bd";
    $l2 = strlen($s2);    $dis = 0;
    for ($i = 0; $i <= $l2; $i++){
        $p1[$i] = $i;
    }
    for ($i = 0; $i < $l1; $i++){
        $p2[0] = $p1[0] + 1;
        for ($j = 0; $j < $l2; $j++){
            if ($s1[$i] == $s2[$j]){
                $dis = min($p1[$j], $p1[$j + 1] + 1, $p2[$j] + 1);
            }else{
                $dis = min($p1[$j] + 1, $p1[$j + 1] + 1, $p2[$j] + 1);  // 注意这里最后一个参数为$p2  
            }
            $p2[$j + 1] = $dis;
        }
        $tmp = $p1;
        $p1 = $p2;
        $p2 = $tmp;  
    }
    echo "n";
    echo $p1[$l2];
    echo "n";
    echo levenshtein($s1, $s2);

如上为PHP内核开发者对前面经典DP的优化,其优化点在于不停的复用两个一维数组,一个记录上次的结果,一个记录这一次的结果。如果按照PHP的参数,分别给三个操作赋值不同的值,在上面的算法中将对应的1变成操作对应的值就可以了。 min函数的第一个参数对应的是修改,第二个参数对应的是删除源码天空,第三个参数对应的是添加。

Levenshtein distance说明
Levenshtein distance最先是由俄国科学家Vladimir Levenshtein在1965年发明,用他的名字命名。不会拼读,可以叫它edit distance(编辑距离)。Levenshtein distance可以用来:
Spell checking(拼写检查)
Speech recognition(语句识别)
DNA analysis(DNA分析)
Plagiarism detection(抄袭检测) LD用mn的矩阵存储距离值。

PHP 相关文章推荐
php 攻击方法之谈php+mysql注射语句构造
Oct 30 PHP
php 数组二分法查找函数代码
Feb 16 PHP
PHP的5个安全措施小结
Jul 17 PHP
基于PHP Socket配置以及实例的详细介绍
Jun 13 PHP
php实现的获取网站备案信息查询代码(360)
Sep 23 PHP
phpmyadmin打开很慢的解决方法
Apr 21 PHP
详解PHP的Yii框架中自带的前端资源包的使用
Mar 31 PHP
php array_slice 取出数组中的一段序列实例
Nov 04 PHP
php通过header发送自定义数据方法
Jan 18 PHP
php获取微信基础接口凭证Access_token
Aug 23 PHP
PHP解析url并得到url参数方法总结
Oct 11 PHP
Referer原理与图片防盗链实现方法详解
Jul 03 PHP
关于PHP递归算法和应用方法介绍
Apr 15 #PHP
PHP 读取Postgresql中的数组
Apr 14 #PHP
php简单开启gzip压缩方法(zlib.output_compression)
Apr 13 #PHP
做了CDN获取用户真实IP的函数代码(PHP与Asp设置方式)
Apr 13 #PHP
php检测图片木马多进制编程实践
Apr 11 #PHP
谈谈关于php的优点与缺点
Apr 11 #PHP
如何用PHP实现插入排序?
Apr 10 #PHP
You might like
资料注册后发信小技巧
2006/10/09 PHP
PHP面向对象分析设计的经验原则
2008/09/20 PHP
PHP面向对象概念
2011/11/06 PHP
php从数组中随机抽取一些元素的代码
2012/11/05 PHP
深入理解PHP中的Session和Cookie
2013/06/21 PHP
如何在smarty中增加类似foreach的功能自动加载数据
2013/06/26 PHP
PHP中4种常用的抓取网络数据方法
2015/06/04 PHP
用javascript实现分割提取页面所需内容
2007/05/09 Javascript
jQuery新闻滚动插件 jquery.roller.js
2011/06/27 Javascript
日历查询的算法 如何计算某一天是星期几
2012/12/12 Javascript
javascript alert乱码的解决方法
2013/11/05 Javascript
jquery中ajax函数执行顺序问题之如何设置同步
2014/02/28 Javascript
页面元素绑定jquery toggle后元素隐藏的解决方法
2014/03/27 Javascript
EasyUI闪屏EasyUI页面加载提示(原理+代码+效果图)
2016/02/21 Javascript
js原型链与继承解析(初体验)
2016/05/09 Javascript
Document.body.scrollTop的值总为零的快速解决办法
2016/06/09 Javascript
详解JavaScript跨域总结与解决办法
2016/10/31 Javascript
浅析BootStrap中Modal(模态框)使用心得
2016/12/24 Javascript
Javascript循环删除数组中元素的几种方法示例
2017/05/18 Javascript
JS闭包的几种常见形式实例详解
2017/09/16 Javascript
微信小程序tabBar用法实例详解
2017/12/04 Javascript
JS实现水平遍历和嵌套递归操作示例
2019/08/15 Javascript
Vue elementui字体图标显示问题解决方案
2020/08/18 Javascript
python 正则式使用心得
2009/05/07 Python
Python实现快速多线程ping的方法
2015/07/15 Python
浅谈Django+Gunicorn+Nginx部署之路
2019/09/11 Python
澳大利亚巧克力花束和礼品网站:Tastebuds
2019/03/15 全球购物
自主实习接收函
2014/01/13 职场文书
南京青奥会口号
2014/06/12 职场文书
餐饮周年庆活动方案
2014/08/14 职场文书
纪检干部先进事迹材料
2014/08/23 职场文书
计算机科学与技术专业求职信
2014/09/03 职场文书
12.4全国法制宣传日活动方案
2014/11/02 职场文书
2014年职称评定工作总结
2014/11/26 职场文书
Spring Cloud Gateway去掉url前缀
2021/07/15 Java/Android
MySQL数据库完全卸载的方法
2022/03/03 MySQL