Python文本相似性计算之编辑距离详解


Posted in Python onNovember 28, 2016

编辑距离

编辑距离(Edit Distance),又称Levenshtein距离,是指两个字串之间,由一个转成另一个所需的最少编辑操作次数。编辑操作包括将一个字符替换成另一个字符,插入一个字符,删除一个字符。一般来说,编辑距离越小,两个串的相似度越大。

例如将kitten一字转成sitting:('kitten' 和 ‘sitting' 的编辑距离为3)

     sitten (k→s)

     sittin (e→i)

     sitting (→g)

Python中的Levenshtein包可以方便的计算编辑距离

包的安装: pip install python-Levenshtein

我们来使用下:

# -*- coding:utf-8 -*-
import Levenshtein
texta = '艾伦 图灵传'
textb = '艾伦•图灵传'
print Levenshtein.distance(texta,textb)

上面的程序执行结果为3,但是只改了一个字符,为什么会发生这样的情况?

原因是Python将这两个字符串看成string类型,而在 string 类型中,默认的 utf-8 编码下,一个中文字符是用三个字节来表示的。

解决办法是将字符串转换成unicode格式,即可返回正确的结果1。

# -*- coding:utf-8 -*-
import Levenshtein
texta = u'艾伦 图灵传'
textb = u'艾伦•图灵传'
print Levenshtein.distance(texta,textb)

接下来重点介绍下保重几个方法的作用:

Levenshtein.distance(str1, str2)

计算编辑距离(也称Levenshtein距离)。是描述由一个字串转化成另一个字串最少的操作次数,在其中的操作包括插入、删除、替换。算法实现:动态规划。

Levenshtein.hamming(str1, str2)

计算汉明距离。要求str1和str2必须长度一致。是描述两个等长字串之间对应位置上不同字符的个数。

Levenshtein.ratio(str1, str2)

计算莱文斯坦比。计算公式  r = (sum ? ldist) / sum, 其中sum是指str1 和 str2 字串的长度总和,ldist是类编辑距离。注意这里是类编辑距离,在类编辑距离中删除、插入依然+1,但是替换+2。

Levenshtein.jaro(s1, s2)

计算jaro距离,Jaro Distance据说是用来判定健康记录上两个名字是否相同,也有说是是用于人口普查,我们先来看一下Jaro Distance的定义。

两个给定字符串S1和S2的Jaro Distance为:

Python文本相似性计算之编辑距离详解

其中的m为s1, s2匹配的字符数,t是换位的数目。

两个分别来自S1和S2的字符如果相距不超过

Python文本相似性计算之编辑距离详解

时,我们就认为这两个字符串是匹配的;而这些相互匹配的字符则决定了换位的数目t,简单来说就是不同顺序的匹配字符的数目的一半即为换位的数目t。举例来说,MARTHA与MARHTA的字符都是匹配的,但是这些匹配的字符中,T和H要换位才能把MARTHA变为MARHTA,那么T和H就是不同的顺序的匹配字符,t=2/2=1

两个字符串的Jaro Distance即为:

Python文本相似性计算之编辑距离详解

Levenshtein.jaro_winkler(s1, s2)

计算Jaro?Winkler距离,而Jaro-Winkler则给予了起始部分就相同的字符串更高的分数,他定义了一个前缀p,给予两个字符串,如果前缀部分有长度为ι的部分相同,则Jaro-Winkler Distance为:

Python文本相似性计算之编辑距离详解

      dj是两个字符串的Jaro Distance

      ι是前缀的相同的长度,但是规定最大为4

      p则是调整分数的常数,规定不能超过25,不然可能出现dw大于1的情况,Winkler将这个常数定义为0.1

这样,上面提及的MARTHA和MARHTA的Jaro-Winkler Distance为:

dw = 0.944 + (3 * 0.1(1 − 0.944)) = 0.961

个人觉得算法可以完善的点:

      去除停用词(主要是标点符号的影响)

      针对中文进行分析,按照词比较是不是要比按照字比较效果更好?

总结

以上就是这篇文章的全部内容了,希望本文的内容对大家学习或者使用python能有所帮助,如果有疑问大家可以留言交流。

其他参考资料:

https://en.wikipedia.org/wiki/Jaro%E2%80%93Winkler_distance

http://www.coli.uni-saarland.de/courses/LT1/2011/slides/Python-Levenshtein.html#Levenshtein-inverse

Python 相关文章推荐
python中关于日期时间处理的问答集锦
Mar 08 Python
Python中函数的用法实例教程
Sep 08 Python
用python简单实现mysql数据同步到ElasticSearch的教程
May 30 Python
python实现扫描局域网指定网段ip的方法
Apr 16 Python
解决pycharm运行程序出现卡住scanning files to index索引的问题
Jun 27 Python
解决Python3用PIL的ImageFont输出中文乱码的问题
Aug 22 Python
Pytorch的mean和std调查实例
Jan 02 Python
jupyter notebook 使用过程中python莫名崩溃的原因及解决方式
Apr 10 Python
Python类中的装饰器在当前类中的声明与调用详解
Apr 15 Python
python ssh 执行shell命令的示例
Sep 29 Python
Python基于Opencv识别两张相似图片
Apr 25 Python
Python基础之数据类型知识汇总
May 18 Python
Python实现全角半角字符互转的方法
Nov 28 #Python
Python连接PostgreSQL数据库的方法
Nov 28 #Python
windows及linux环境下永久修改pip镜像源的方法
Nov 28 #Python
Python如何为图片添加水印
Nov 25 #Python
Python pass详细介绍及实例代码
Nov 24 #Python
Python脚本实时处理log文件的方法
Nov 21 #Python
深入理解 Python 中的多线程 新手必看
Nov 20 #Python
You might like
对盗链说再见...
2006/10/09 PHP
phpmyadmin安装时提示:Warning: require_once(./libraries/common.inc.php)错误解决办法
2011/08/18 PHP
PHP中获取时间的下一周下个月的方法
2014/03/18 PHP
php精确的统计在线人数的方法
2015/10/21 PHP
php实现多维数组排序的方法示例
2017/03/23 PHP
PHP调用QQ互联接口实现QQ登录网站功能示例
2019/10/24 PHP
关于JS控制代码暂停的实现方法分享
2012/10/11 Javascript
jquery获取checkbox的值并post提交
2015/01/14 Javascript
JavaScript实现将数组中所有元素连接成一个字符串的方法
2015/04/06 Javascript
javascript实现的字符串与十六进制表示字符串相互转换方法
2015/07/17 Javascript
使用coffeescript编写node.js项目的方法汇总
2015/08/05 Javascript
不得不看之JavaScript构造函数及new运算符
2017/08/21 Javascript
JS图片延迟加载插件LazyImgv1.0用法分析【附demo源码下载】
2017/09/04 Javascript
关于vue单文件中引用路径的处理方法
2018/01/08 Javascript
js闭包学习心得总结
2018/04/17 Javascript
vuex state及mapState的基础用法详解
2018/04/19 Javascript
js中时间格式化的几种方法
2018/07/22 Javascript
Vue中使用canvas方法总结
2019/02/12 Javascript
详解JavaScript的变量
2019/04/04 Javascript
浅谈vue中get请求解决传输数据是数组格式的问题
2020/08/03 Javascript
vue内置组件keep-alive事件动态缓存实例
2020/10/30 Javascript
python select.select模块通信全过程解析
2017/09/20 Python
Python机器学习之决策树算法
2017/12/22 Python
python实现黑客字幕雨效果
2018/06/21 Python
Pandas之ReIndex重新索引的实现
2019/06/25 Python
超简单的Python HTTP服务
2019/07/22 Python
Python项目跨域问题解决方案
2020/06/22 Python
妈妈的账单教学反思
2014/02/06 职场文书
献爱心捐款倡议书
2014/05/14 职场文书
2014年化验员工作总结
2014/11/18 职场文书
离婚承诺书格式范文
2015/05/04 职场文书
宝宝满月宴答谢词
2015/09/30 职场文书
六年级情感作文之500字
2019/10/23 职场文书
vue中三级导航的菜单权限控制
2021/03/31 Vue.js
数据库的高级查询六:表连接查询:外连接(左外连接,右外连接,UNION关键字,连接中ON与WHERE的不同)
2021/04/05 MySQL
python文件目录操作之os模块
2021/05/08 Python