Python文本相似性计算之编辑距离详解


Posted in Python onNovember 28, 2016

编辑距离

编辑距离(Edit Distance),又称Levenshtein距离,是指两个字串之间,由一个转成另一个所需的最少编辑操作次数。编辑操作包括将一个字符替换成另一个字符,插入一个字符,删除一个字符。一般来说,编辑距离越小,两个串的相似度越大。

例如将kitten一字转成sitting:('kitten' 和 ‘sitting' 的编辑距离为3)

     sitten (k→s)

     sittin (e→i)

     sitting (→g)

Python中的Levenshtein包可以方便的计算编辑距离

包的安装: pip install python-Levenshtein

我们来使用下:

# -*- coding:utf-8 -*-
import Levenshtein
texta = '艾伦 图灵传'
textb = '艾伦•图灵传'
print Levenshtein.distance(texta,textb)

上面的程序执行结果为3,但是只改了一个字符,为什么会发生这样的情况?

原因是Python将这两个字符串看成string类型,而在 string 类型中,默认的 utf-8 编码下,一个中文字符是用三个字节来表示的。

解决办法是将字符串转换成unicode格式,即可返回正确的结果1。

# -*- coding:utf-8 -*-
import Levenshtein
texta = u'艾伦 图灵传'
textb = u'艾伦•图灵传'
print Levenshtein.distance(texta,textb)

接下来重点介绍下保重几个方法的作用:

Levenshtein.distance(str1, str2)

计算编辑距离(也称Levenshtein距离)。是描述由一个字串转化成另一个字串最少的操作次数,在其中的操作包括插入、删除、替换。算法实现:动态规划。

Levenshtein.hamming(str1, str2)

计算汉明距离。要求str1和str2必须长度一致。是描述两个等长字串之间对应位置上不同字符的个数。

Levenshtein.ratio(str1, str2)

计算莱文斯坦比。计算公式  r = (sum ? ldist) / sum, 其中sum是指str1 和 str2 字串的长度总和,ldist是类编辑距离。注意这里是类编辑距离,在类编辑距离中删除、插入依然+1,但是替换+2。

Levenshtein.jaro(s1, s2)

计算jaro距离,Jaro Distance据说是用来判定健康记录上两个名字是否相同,也有说是是用于人口普查,我们先来看一下Jaro Distance的定义。

两个给定字符串S1和S2的Jaro Distance为:

Python文本相似性计算之编辑距离详解

其中的m为s1, s2匹配的字符数,t是换位的数目。

两个分别来自S1和S2的字符如果相距不超过

Python文本相似性计算之编辑距离详解

时,我们就认为这两个字符串是匹配的;而这些相互匹配的字符则决定了换位的数目t,简单来说就是不同顺序的匹配字符的数目的一半即为换位的数目t。举例来说,MARTHA与MARHTA的字符都是匹配的,但是这些匹配的字符中,T和H要换位才能把MARTHA变为MARHTA,那么T和H就是不同的顺序的匹配字符,t=2/2=1

两个字符串的Jaro Distance即为:

Python文本相似性计算之编辑距离详解

Levenshtein.jaro_winkler(s1, s2)

计算Jaro?Winkler距离,而Jaro-Winkler则给予了起始部分就相同的字符串更高的分数,他定义了一个前缀p,给予两个字符串,如果前缀部分有长度为ι的部分相同,则Jaro-Winkler Distance为:

Python文本相似性计算之编辑距离详解

      dj是两个字符串的Jaro Distance

      ι是前缀的相同的长度,但是规定最大为4

      p则是调整分数的常数,规定不能超过25,不然可能出现dw大于1的情况,Winkler将这个常数定义为0.1

这样,上面提及的MARTHA和MARHTA的Jaro-Winkler Distance为:

dw = 0.944 + (3 * 0.1(1 − 0.944)) = 0.961

个人觉得算法可以完善的点:

      去除停用词(主要是标点符号的影响)

      针对中文进行分析,按照词比较是不是要比按照字比较效果更好?

总结

以上就是这篇文章的全部内容了,希望本文的内容对大家学习或者使用python能有所帮助,如果有疑问大家可以留言交流。

其他参考资料:

https://en.wikipedia.org/wiki/Jaro%E2%80%93Winkler_distance

http://www.coli.uni-saarland.de/courses/LT1/2011/slides/Python-Levenshtein.html#Levenshtein-inverse

Python 相关文章推荐
python创建只读属性对象的方法(ReadOnlyObject)
Feb 10 Python
python读取文本中的坐标方法
Oct 14 Python
一篇文章了解Python中常见的序列化操作
Jun 20 Python
Python爬虫动态ip代理防止被封的方法
Jul 07 Python
python爬虫 线程池创建并获取文件代码实例
Sep 28 Python
Python 实现向word(docx)中输出
Feb 13 Python
jupyter notebook参数化运行python方式
Apr 10 Python
Python requests模块安装及使用教程图解
Jun 30 Python
浅谈Python 命令行参数argparse写入图片路径操作
Jul 12 Python
Python WSGI 规范简介
Apr 11 Python
Python下opencv库的安装过程及问题汇总
Jun 11 Python
Python中非常使用的6种基本变量的操作与技巧
Mar 22 Python
Python实现全角半角字符互转的方法
Nov 28 #Python
Python连接PostgreSQL数据库的方法
Nov 28 #Python
windows及linux环境下永久修改pip镜像源的方法
Nov 28 #Python
Python如何为图片添加水印
Nov 25 #Python
Python pass详细介绍及实例代码
Nov 24 #Python
Python脚本实时处理log文件的方法
Nov 21 #Python
深入理解 Python 中的多线程 新手必看
Nov 20 #Python
You might like
PHP 之Section与Cookie使用总结
2012/09/14 PHP
微信营销平台系统?刮刮乐的开发
2014/06/10 PHP
phpmailer发送邮件之后,返回收件人是否阅读了邮件的方法
2014/07/19 PHP
mac pecl 安装php7.1扩展教程
2019/10/17 PHP
IE不出现Flash激活框的小发现的js实现方法
2007/09/07 Javascript
JS应用之禁止抓屏、复制、打印
2008/02/21 Javascript
Javascript 继承实现例子
2009/08/12 Javascript
Js四则运算函数代码
2012/07/21 Javascript
基于dom编程中 动态创建与删除元素的使用
2013/04/17 Javascript
js写一个字符串转成驼峰的实例
2013/06/21 Javascript
Javascript中的Array数组对象详谈
2014/03/03 Javascript
javascript将异步校验表单改写为同步表单
2015/01/27 Javascript
JS实现利用两个队列表示一个栈的方法
2017/12/13 Javascript
Vue.directive()的用法和实例详解
2018/03/04 Javascript
微信小程序MUI侧滑导航菜单示例(Popup弹出式,左侧不动,右侧滑动)
2019/01/23 Javascript
vue动态配置模板 'component is'代码
2019/07/04 Javascript
解决vue-router 二级导航默认选中某一选项的问题
2019/11/01 Javascript
微信小程序表单验证WxValidate的使用
2019/11/27 Javascript
[02:21]DOTA2英雄基础教程 蝙蝠骑士
2013/12/16 DOTA
python 字符串常用函数详解
2019/09/11 Python
kafka监控获取指定topic的消息总量示例
2019/12/23 Python
Python callable内置函数原理解析
2020/03/05 Python
Keras 利用sklearn的ROC-AUC建立评价函数详解
2020/06/15 Python
HTML5实现移动端复制功能
2018/04/19 HTML / CSS
美国领先的家居装饰和礼品商店:Kirkland’s
2017/01/30 全球购物
城市观光通行证:The Sightseeing Pass
2018/04/28 全球购物
人力资源管理专业应届生求职信
2013/09/28 职场文书
电大会计学自我鉴定
2014/02/06 职场文书
珠宝的促销活动方案
2014/08/31 职场文书
党员对照检查材料
2014/09/22 职场文书
2014年幼儿园保育工作总结
2014/12/02 职场文书
学前班幼儿评语大全
2014/12/29 职场文书
学期个人工作总结
2015/02/13 职场文书
搞笑老公保证书
2015/02/26 职场文书
2016年保险公众宣传日活动总结
2016/04/05 职场文书
MySQL sql_mode修改不生效的原因及解决
2021/05/07 MySQL