Python文本相似性计算之编辑距离详解


Posted in Python onNovember 28, 2016

编辑距离

编辑距离(Edit Distance),又称Levenshtein距离,是指两个字串之间,由一个转成另一个所需的最少编辑操作次数。编辑操作包括将一个字符替换成另一个字符,插入一个字符,删除一个字符。一般来说,编辑距离越小,两个串的相似度越大。

例如将kitten一字转成sitting:('kitten' 和 ‘sitting' 的编辑距离为3)

     sitten (k→s)

     sittin (e→i)

     sitting (→g)

Python中的Levenshtein包可以方便的计算编辑距离

包的安装: pip install python-Levenshtein

我们来使用下:

# -*- coding:utf-8 -*-
import Levenshtein
texta = '艾伦 图灵传'
textb = '艾伦•图灵传'
print Levenshtein.distance(texta,textb)

上面的程序执行结果为3,但是只改了一个字符,为什么会发生这样的情况?

原因是Python将这两个字符串看成string类型,而在 string 类型中,默认的 utf-8 编码下,一个中文字符是用三个字节来表示的。

解决办法是将字符串转换成unicode格式,即可返回正确的结果1。

# -*- coding:utf-8 -*-
import Levenshtein
texta = u'艾伦 图灵传'
textb = u'艾伦•图灵传'
print Levenshtein.distance(texta,textb)

接下来重点介绍下保重几个方法的作用:

Levenshtein.distance(str1, str2)

计算编辑距离(也称Levenshtein距离)。是描述由一个字串转化成另一个字串最少的操作次数,在其中的操作包括插入、删除、替换。算法实现:动态规划。

Levenshtein.hamming(str1, str2)

计算汉明距离。要求str1和str2必须长度一致。是描述两个等长字串之间对应位置上不同字符的个数。

Levenshtein.ratio(str1, str2)

计算莱文斯坦比。计算公式  r = (sum ? ldist) / sum, 其中sum是指str1 和 str2 字串的长度总和,ldist是类编辑距离。注意这里是类编辑距离,在类编辑距离中删除、插入依然+1,但是替换+2。

Levenshtein.jaro(s1, s2)

计算jaro距离,Jaro Distance据说是用来判定健康记录上两个名字是否相同,也有说是是用于人口普查,我们先来看一下Jaro Distance的定义。

两个给定字符串S1和S2的Jaro Distance为:

Python文本相似性计算之编辑距离详解

其中的m为s1, s2匹配的字符数,t是换位的数目。

两个分别来自S1和S2的字符如果相距不超过

Python文本相似性计算之编辑距离详解

时,我们就认为这两个字符串是匹配的;而这些相互匹配的字符则决定了换位的数目t,简单来说就是不同顺序的匹配字符的数目的一半即为换位的数目t。举例来说,MARTHA与MARHTA的字符都是匹配的,但是这些匹配的字符中,T和H要换位才能把MARTHA变为MARHTA,那么T和H就是不同的顺序的匹配字符,t=2/2=1

两个字符串的Jaro Distance即为:

Python文本相似性计算之编辑距离详解

Levenshtein.jaro_winkler(s1, s2)

计算Jaro?Winkler距离,而Jaro-Winkler则给予了起始部分就相同的字符串更高的分数,他定义了一个前缀p,给予两个字符串,如果前缀部分有长度为ι的部分相同,则Jaro-Winkler Distance为:

Python文本相似性计算之编辑距离详解

      dj是两个字符串的Jaro Distance

      ι是前缀的相同的长度,但是规定最大为4

      p则是调整分数的常数,规定不能超过25,不然可能出现dw大于1的情况,Winkler将这个常数定义为0.1

这样,上面提及的MARTHA和MARHTA的Jaro-Winkler Distance为:

dw = 0.944 + (3 * 0.1(1 − 0.944)) = 0.961

个人觉得算法可以完善的点:

      去除停用词(主要是标点符号的影响)

      针对中文进行分析,按照词比较是不是要比按照字比较效果更好?

总结

以上就是这篇文章的全部内容了,希望本文的内容对大家学习或者使用python能有所帮助,如果有疑问大家可以留言交流。

其他参考资料:

https://en.wikipedia.org/wiki/Jaro%E2%80%93Winkler_distance

http://www.coli.uni-saarland.de/courses/LT1/2011/slides/Python-Levenshtein.html#Levenshtein-inverse

Python 相关文章推荐
python操作MySQL数据库的方法分享
May 29 Python
python网络爬虫采集联想词示例
Feb 11 Python
在Python的Bottle框架中使用微信API的示例
Apr 23 Python
Python中的异常处理相关语句基础学习笔记
Jul 11 Python
Python对文件和目录进行操作的方法(file对象/os/os.path/shutil 模块)
May 08 Python
Python xlwt设置excel单元格字体及格式
Apr 18 Python
Python面向对象之类的定义与继承用法示例
Jan 14 Python
django云端留言板实例详解
Jul 22 Python
dpn网络的pytorch实现方式
Jan 14 Python
keras 如何保存最佳的训练模型
May 25 Python
教你一分钟在win10终端成功安装Pytorch的方法步骤
Jan 28 Python
Python如何加载模型并查看网络
Jul 15 Python
Python实现全角半角字符互转的方法
Nov 28 #Python
Python连接PostgreSQL数据库的方法
Nov 28 #Python
windows及linux环境下永久修改pip镜像源的方法
Nov 28 #Python
Python如何为图片添加水印
Nov 25 #Python
Python pass详细介绍及实例代码
Nov 24 #Python
Python脚本实时处理log文件的方法
Nov 21 #Python
深入理解 Python 中的多线程 新手必看
Nov 20 #Python
You might like
一个用于MySQL的PHP XML类
2006/10/09 PHP
解析PHP正则提取或替换img标记属性
2013/06/26 PHP
ThinkPHP函数详解之M方法和R方法
2015/09/10 PHP
100多行PHP代码实现socks5代理服务器[2]
2016/05/05 PHP
PHP的PDO错误与错误处理
2019/01/27 PHP
如何在Laravel5.8中正确地应用Repository设计模式
2019/11/26 PHP
JavaScript 无符号右移赋值操作
2009/04/17 Javascript
javascript 特性检测并非浏览器检测
2010/01/15 Javascript
动态调用CSS文件的JS代码
2010/07/29 Javascript
javascript采用数组实现tab菜单切换效果
2012/12/12 Javascript
jQuery实现仿腾讯视频列表分页效果的方法
2015/08/07 Javascript
jQuery简单实现上下,左右滑动的方法
2016/06/01 Javascript
bootstrap基础知识学习笔记
2016/11/02 Javascript
Javascript使用function创建类的两种方法(推荐)
2016/11/19 Javascript
如何编写jquery插件
2017/03/29 jQuery
JavaScript之filter_动力节点Java学院整理
2017/06/28 Javascript
vue 2.0项目中如何引入element-ui详解
2017/09/06 Javascript
记录一次开发微信网页分享的步骤
2019/05/07 Javascript
vue $set 给数据赋值的实例
2019/11/09 Javascript
NodeJS和浏览器中this关键字的不同之处
2021/03/03 NodeJs
[01:16]DOTA2小知识课堂 Ep.03 芒果树无伤肉山
2019/12/05 DOTA
python网络编程学习笔记(一)
2014/06/09 Python
Python用zip函数同时遍历多个迭代器示例详解
2016/11/14 Python
Python简单计算给定某一年的某一天是星期几示例
2018/06/27 Python
python中sort和sorted排序的实例方法
2019/08/26 Python
Python爬虫之Selenium库的使用方法
2021/01/03 Python
Nisbets法国:英国最大的厨房和餐饮设备供应商
2019/03/18 全球购物
毕业生的自我鉴定该怎么写
2013/12/02 职场文书
优秀班组申报材料
2014/12/25 职场文书
英语邀请函范文
2015/02/02 职场文书
2015年事业单位办公室文员工作总结
2015/04/24 职场文书
TypeScript中条件类型精读与实践记录
2021/10/05 Javascript
SQL语句多表联合查询的方法示例
2022/04/18 MySQL
SQL Server Agent 服务无法启动
2022/04/20 SQL Server
python​格式化字符串
2022/04/20 Python
不想升级Win11?教你彻底锁定老版Windows系统的方法(附下载地址)
2022/09/23 数码科技