Python自然语言处理之切分算法详解


Posted in Python onApril 25, 2021

一、前言

我们需要分析某句话,就必须检测该条语句中的词语。

一般来说,一句话肯定包含多个词语,它们互相重叠,具体输出哪一个由自然语言的切分算法决定。常用的切分算法有完全切分、正向最长匹配、逆向最长匹配以及双向最长匹配。

本篇博文将一一介绍这些常用的切分算法。

二、完全切分

完全切分是指,找出一段文本中的所有单词。

不考虑效率的话,完全切分算法其实非常简单。只要遍历文本中的连续序列,查询该序列是否在词典中即可。上一篇我们获取了词典的所有词语dic,这里我们直接用代码遍历某段文本,完全切分出所有的词语。代码如下:

from pyhanlp import *


def load_dictionary():
    IOUtil = JClass('com.hankcs.hanlp.corpus.io.IOUtil')
    path = HanLP.Config.CoreDictionaryPath.replace('.txt', '.mini.txt')
    dic = IOUtil.loadDictionary([path])
    return set(dic.keySet())


def fully_segment(text, dic):
    list = []
    for i in range(len(text)):
        for j in range(i + 1, len(text) + 1):
            temp = text[i:j]
            if temp in dic:
                list.append(temp)
    return list


if __name__ == "__main__":
    dic = load_dictionary()
    print(fully_segment("在绝对实力面前,一切的说辞都是枉然", dic))

Python自然语言处理之切分算法详解

可以看到,完全切分算法输出了文本中所有的单字与词汇。
这里的算法原理是:开始遍历单个字,以该字为首,将后面每个字依次组合到单个字中,分析出这些组合字句是否在词典中。第二次,从第二个字开始,组合后面的字,以此类推。不懂的看下图就明白了。

Python自然语言处理之切分算法详解

三、正向最长匹配

虽然说完全切分能获取到所有出现在字典中的单词,单字,但是我们获取语句中单字一般来说没有任何意义,我们更希望获取的是中文分词,那种具有意义的词语序列。

比如,上面我们希望“绝对实力”成为一整个词,而不是“绝对”+“实力”之类的碎片。为了达到这个目的,我们需要完善一下我们的算法。考虑到越长的单词表达的意义更加的丰富,于是我们定义单词越长优先级越高。

具体来说,就是在某个下标为起点递增查词的过程中,优先输出更长的单词,这种规则被称为最长匹配算法。该下标的扫描顺序如果从前往后,则称为正向最长匹配,反之则为逆向最长匹配。

下面,我们来实现正向最长匹配,代码如下:

def forward_segment(text, dic):
    list = []
    i = 0
    while i < len(text):
        long_word = text[i]
        for j in range(i + 1, len(text) + 1):
            word = text[i:j]
            if word in dic:
                if len(word) > len(long_word):
                    long_word = word
        list.append(long_word)
        i += len(long_word)
    return list

算法的原理:首先通过while循环判断i是否超出了字符串的大小,如果没有,获取当前第一个字符串为第一个最长匹配结果,接着遍历第一个字符串的所有可能组合结尾,如果在字典中,判断当前词语是否大于前面的最长匹配结果,如果是替换掉最长。遍历完成之后,将最长的结果添加到列表中,然后再获取第二字符,遍历所有结尾组合,获取最长匹配。以此类推。

四、逆向最长匹配

既然了解了正向如何匹配,那么逆向算法应该也很好写。代码如下:

def backward_segment(text, dic):
    list = []
    i = len(text) - 1
    while i >= 0:
        long_word = text[i]
        for j in range(0, i):
            word = text[j:i + 1]
            if word in dic:
                if len(word) > len(long_word):
                    long_word = word
                    break
        list.append(long_word)
        i -= len(long_word)
    return list

算法的原理:就是上面的正向反过来,但是这里并不是倒推文字,文字还是按语句的顺序,但是长度是从最长到最短,也就是遇到第一个就可以返回了添加了。比正向最长匹配算法节约时间。

五、双向最长匹配

虽然逆向比正向节约时间,但本身有一个很大的漏洞。假如我现在的句子中有一段“项目的”字符串,那么正向会出现“项目”,“的”两个词汇,而逆向会出现:“项”,“目的”两个词汇。

为此,我们的算法工程师提出了新的匹配规则,双向最长匹配。这是一种融合两种匹配方法的复杂规则,流程如下:

同时执行正向和逆向最长匹配,若两者的词数不同,则返回词数更少的一个否则,返回两者中单字更少的那一个。当单字也相同时,优先返回逆向最长匹配结果

具体代码如下:

#统计单字个数
def count_single_char(list):
    return sum(1 for word in list if len(word) == 1)

#双向匹配算法
def bidirectional_segment():
    f = forward_segment("在绝对实力面前,一切的说辞都是枉然", dic)
    b = backward_segment("在绝对实力面前,一切的说辞都是枉然", dic)
    if len(f) < len(b):
        return f
    elif len(f) > len(b):
        return b
    else:
        if count_single_char(f)<count_single_char(b):
            return f
        else:
            return b

到此这篇关于Python自然语言处理之切分算法详解的文章就介绍到这了,更多相关python切分算法内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Python 相关文章推荐
python数据结构树和二叉树简介
Apr 29 Python
Python生成8位随机字符串的方法分析
Dec 05 Python
python实现微信远程控制电脑
Feb 22 Python
python2.7无法使用pip的解决方法(安装easy_install)
Apr 03 Python
pandas 将索引值相加的方法
Nov 15 Python
python将txt文档每行内容循环插入数据库的方法
Dec 28 Python
浅谈python常用程序算法
Mar 22 Python
Python利用神经网络解决非线性回归问题实例详解
Jul 19 Python
后端开发使用pycharm的技巧(推荐)
Mar 27 Python
python 模拟登陆163邮箱
Dec 15 Python
10张动图学会python循环与递归问题
Feb 06 Python
python+pytest接口自动化之token关联登录的实现
Apr 06 Python
Python网络编程之ZeroMQ知识总结
Python 文本滚动播放器的实现代码
Apr 25 #Python
Python基于Opencv识别两张相似图片
matplotlib之pyplot模块实现添加子图subplot的使用
python实现简单区块链结构
python实现图片九宫格分割的示例
详解python中[-1]、[:-1]、[::-1]、[n::-1]使用方法
Apr 25 #Python
You might like
php微信分享到朋友圈、QQ、朋友、微博
2019/02/18 PHP
jQuery 性能优化指南(3)
2009/05/21 Javascript
JavaScript 选中文字并响应获取的实现代码
2011/08/28 Javascript
jquery 插件开发 extjs中的extend用法小结
2013/01/04 Javascript
Javascript和HTML5利用canvas构建Web五子棋游戏实现算法
2013/07/17 Javascript
JS执行删除前的判断代码
2014/02/18 Javascript
JavaScript通过元素的ID和name设置样式
2014/07/08 Javascript
Javascript获取表单名称(name)的方法
2015/04/02 Javascript
使用jspdf生成pdf报表
2015/07/03 Javascript
angularjs中ng-attr的用法详解
2016/12/31 Javascript
微信小程序学习之数据处理详解
2017/07/05 Javascript
详解关于react-redux中的connect用法介绍及原理解析
2017/09/11 Javascript
nodejs async异步常用函数总结(推荐)
2017/11/17 NodeJs
JS中移除非数字最多保留一位小数
2018/05/09 Javascript
webpack4 css打包压缩问题的解决
2018/05/18 Javascript
在Koa.js中实现文件上传的接口功能
2019/10/08 Javascript
简单使用webpack打包文件的实现
2019/10/29 Javascript
vue+Element-ui前端实现分页效果
2020/11/15 Javascript
从Python的源码浅要剖析Python的内存管理
2015/04/16 Python
windows下Python实现将pdf文件转化为png格式图片的方法
2017/07/21 Python
python 利用文件锁单例执行脚本的方法
2019/02/19 Python
python装饰器代替set get方法实例
2019/12/19 Python
selenium+python配置chrome浏览器的选项的实现
2020/03/18 Python
如何基于matlab相机标定导出xml文件
2020/11/02 Python
微软马来西亚官方网站:Microsoft马来西亚
2019/11/22 全球购物
违纪检讨书2000字
2014/02/08 职场文书
党建工作经验交流材料
2014/05/25 职场文书
法学求职信
2014/06/22 职场文书
2015新员工试用期工作总结
2014/12/12 职场文书
导游词格式
2015/02/13 职场文书
公司员工离职感言
2015/08/03 职场文书
2016教师党员学习心得体会
2016/01/21 职场文书
《观察物体》教学反思
2016/02/17 职场文书
SQL模糊查询报:ORA-00909:参数个数无效问题的解决
2021/06/21 Oracle
Golang并发操作中常见的读写锁详析
2021/08/30 Golang
Python实现对齐打印 format函数的用法
2022/04/28 Python