Python自然语言处理之切分算法详解


Posted in Python onApril 25, 2021

一、前言

我们需要分析某句话,就必须检测该条语句中的词语。

一般来说,一句话肯定包含多个词语,它们互相重叠,具体输出哪一个由自然语言的切分算法决定。常用的切分算法有完全切分、正向最长匹配、逆向最长匹配以及双向最长匹配。

本篇博文将一一介绍这些常用的切分算法。

二、完全切分

完全切分是指,找出一段文本中的所有单词。

不考虑效率的话,完全切分算法其实非常简单。只要遍历文本中的连续序列,查询该序列是否在词典中即可。上一篇我们获取了词典的所有词语dic,这里我们直接用代码遍历某段文本,完全切分出所有的词语。代码如下:

from pyhanlp import *


def load_dictionary():
    IOUtil = JClass('com.hankcs.hanlp.corpus.io.IOUtil')
    path = HanLP.Config.CoreDictionaryPath.replace('.txt', '.mini.txt')
    dic = IOUtil.loadDictionary([path])
    return set(dic.keySet())


def fully_segment(text, dic):
    list = []
    for i in range(len(text)):
        for j in range(i + 1, len(text) + 1):
            temp = text[i:j]
            if temp in dic:
                list.append(temp)
    return list


if __name__ == "__main__":
    dic = load_dictionary()
    print(fully_segment("在绝对实力面前,一切的说辞都是枉然", dic))

Python自然语言处理之切分算法详解

可以看到,完全切分算法输出了文本中所有的单字与词汇。
这里的算法原理是:开始遍历单个字,以该字为首,将后面每个字依次组合到单个字中,分析出这些组合字句是否在词典中。第二次,从第二个字开始,组合后面的字,以此类推。不懂的看下图就明白了。

Python自然语言处理之切分算法详解

三、正向最长匹配

虽然说完全切分能获取到所有出现在字典中的单词,单字,但是我们获取语句中单字一般来说没有任何意义,我们更希望获取的是中文分词,那种具有意义的词语序列。

比如,上面我们希望“绝对实力”成为一整个词,而不是“绝对”+“实力”之类的碎片。为了达到这个目的,我们需要完善一下我们的算法。考虑到越长的单词表达的意义更加的丰富,于是我们定义单词越长优先级越高。

具体来说,就是在某个下标为起点递增查词的过程中,优先输出更长的单词,这种规则被称为最长匹配算法。该下标的扫描顺序如果从前往后,则称为正向最长匹配,反之则为逆向最长匹配。

下面,我们来实现正向最长匹配,代码如下:

def forward_segment(text, dic):
    list = []
    i = 0
    while i < len(text):
        long_word = text[i]
        for j in range(i + 1, len(text) + 1):
            word = text[i:j]
            if word in dic:
                if len(word) > len(long_word):
                    long_word = word
        list.append(long_word)
        i += len(long_word)
    return list

算法的原理:首先通过while循环判断i是否超出了字符串的大小,如果没有,获取当前第一个字符串为第一个最长匹配结果,接着遍历第一个字符串的所有可能组合结尾,如果在字典中,判断当前词语是否大于前面的最长匹配结果,如果是替换掉最长。遍历完成之后,将最长的结果添加到列表中,然后再获取第二字符,遍历所有结尾组合,获取最长匹配。以此类推。

四、逆向最长匹配

既然了解了正向如何匹配,那么逆向算法应该也很好写。代码如下:

def backward_segment(text, dic):
    list = []
    i = len(text) - 1
    while i >= 0:
        long_word = text[i]
        for j in range(0, i):
            word = text[j:i + 1]
            if word in dic:
                if len(word) > len(long_word):
                    long_word = word
                    break
        list.append(long_word)
        i -= len(long_word)
    return list

算法的原理:就是上面的正向反过来,但是这里并不是倒推文字,文字还是按语句的顺序,但是长度是从最长到最短,也就是遇到第一个就可以返回了添加了。比正向最长匹配算法节约时间。

五、双向最长匹配

虽然逆向比正向节约时间,但本身有一个很大的漏洞。假如我现在的句子中有一段“项目的”字符串,那么正向会出现“项目”,“的”两个词汇,而逆向会出现:“项”,“目的”两个词汇。

为此,我们的算法工程师提出了新的匹配规则,双向最长匹配。这是一种融合两种匹配方法的复杂规则,流程如下:

同时执行正向和逆向最长匹配,若两者的词数不同,则返回词数更少的一个否则,返回两者中单字更少的那一个。当单字也相同时,优先返回逆向最长匹配结果

具体代码如下:

#统计单字个数
def count_single_char(list):
    return sum(1 for word in list if len(word) == 1)

#双向匹配算法
def bidirectional_segment():
    f = forward_segment("在绝对实力面前,一切的说辞都是枉然", dic)
    b = backward_segment("在绝对实力面前,一切的说辞都是枉然", dic)
    if len(f) < len(b):
        return f
    elif len(f) > len(b):
        return b
    else:
        if count_single_char(f)<count_single_char(b):
            return f
        else:
            return b

到此这篇关于Python自然语言处理之切分算法详解的文章就介绍到这了,更多相关python切分算法内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Python 相关文章推荐
压缩包密码破解示例分享(类似典破解)
Jan 17 Python
python 将字符串转换成字典dict的各种方式总结
Mar 23 Python
浅谈Python里面小数点精度的控制
Jul 16 Python
对python中dict和json的区别详解
Dec 18 Python
Python将json文件写入ES数据库的方法
Apr 10 Python
python pandas cumsum求累计次数的用法
Jul 29 Python
使用Python实现图像标记点的坐标输出功能
Aug 14 Python
Python破解BiliBili滑块验证码的思路详解(完美避开人机识别)
Feb 17 Python
从多个tfrecord文件中无限读取文件的例子
Feb 17 Python
Python OpenCV去除字母后面的杂线操作
Jul 05 Python
python脚本定时发送邮件
Dec 22 Python
OpenCV绘制圆端矩形的示例代码
Aug 30 Python
Python网络编程之ZeroMQ知识总结
Python 文本滚动播放器的实现代码
Apr 25 #Python
Python基于Opencv识别两张相似图片
matplotlib之pyplot模块实现添加子图subplot的使用
python实现简单区块链结构
python实现图片九宫格分割的示例
详解python中[-1]、[:-1]、[::-1]、[n::-1]使用方法
Apr 25 #Python
You might like
php桌面中心(一) 创建数据库
2007/03/11 PHP
用Simple Excel导出xls实现方法
2012/12/06 PHP
CodeIgniter表单验证方法实例详解
2016/03/03 PHP
php实现银联商务公众号+服务窗支付的示例代码
2019/10/12 PHP
js window.onload 加载多个函数的方法
2009/11/02 Javascript
解决ExtJS在chrome或火狐中正常显示在ie中不显示的浏览器兼容问题
2013/01/11 Javascript
从JQuery源码分析JavaScript函数的apply方法与call方法
2014/09/25 Javascript
关于JS中prototype的理解
2015/09/07 Javascript
React数据传递之组件内部通信的方法
2017/12/31 Javascript
微信小程序checkbox组件使用详解
2018/01/31 Javascript
vue 组件中slot插口的具体用法
2018/04/03 Javascript
node结合swig渲染摸板的方法
2018/04/11 Javascript
在vue项目中引入highcharts图表的方法
2019/01/21 Javascript
vue实现的微信机器人聊天功能案例【附源码下载】
2019/02/18 Javascript
Angular4.0动画操作实例详解
2019/05/10 Javascript
优化Vue项目编译文件大小的方法步骤
2019/05/27 Javascript
vue瀑布流组件实现上拉加载更多
2020/03/10 Javascript
手把手教你实现 Promise的使用方法
2020/09/02 Javascript
Javascript实现打鼓效果
2021/01/29 Javascript
[00:43]DOTA2小紫本全民票选福利PA至宝全方位展示
2014/11/25 DOTA
[01:04:06]DOTA2上海特级锦标赛A组资格赛#2 Secret VS EHOME第一局
2016/02/26 DOTA
[02:49]DOTA2完美大师赛首日观众采访
2017/11/23 DOTA
[00:32]2018DOTA2亚洲邀请赛iG出场
2018/04/03 DOTA
[02:21]十步杀一人,千里不留行——DOTA2全新英雄天涯墨客展示
2018/08/29 DOTA
解决python使用open打开文件中文乱码的问题
2017/12/29 Python
在python环境下运用kafka对数据进行实时传输的方法
2018/12/27 Python
Python操作redis实例小结【String、Hash、List、Set等】
2019/05/16 Python
python怎么自定义捕获错误
2020/06/29 Python
HTML5通用接口详解
2016/06/12 HTML / CSS
HTML5中使用postMessage实现两个网页间传递数据
2016/06/22 HTML / CSS
牛津在线药房:Oxford Online Pharmacy
2020/11/16 全球购物
高级护理专业大学生求职信
2013/10/24 职场文书
电脑租赁公司创业计划书
2014/01/08 职场文书
教师辞职报告范文
2014/01/20 职场文书
社区综治工作汇报
2014/10/27 职场文书
Nginx 负载均衡是什么以及该如何配置
2021/03/31 Servers