Python自然语言处理之切分算法详解


Posted in Python onApril 25, 2021

一、前言

我们需要分析某句话,就必须检测该条语句中的词语。

一般来说,一句话肯定包含多个词语,它们互相重叠,具体输出哪一个由自然语言的切分算法决定。常用的切分算法有完全切分、正向最长匹配、逆向最长匹配以及双向最长匹配。

本篇博文将一一介绍这些常用的切分算法。

二、完全切分

完全切分是指,找出一段文本中的所有单词。

不考虑效率的话,完全切分算法其实非常简单。只要遍历文本中的连续序列,查询该序列是否在词典中即可。上一篇我们获取了词典的所有词语dic,这里我们直接用代码遍历某段文本,完全切分出所有的词语。代码如下:

from pyhanlp import *


def load_dictionary():
    IOUtil = JClass('com.hankcs.hanlp.corpus.io.IOUtil')
    path = HanLP.Config.CoreDictionaryPath.replace('.txt', '.mini.txt')
    dic = IOUtil.loadDictionary([path])
    return set(dic.keySet())


def fully_segment(text, dic):
    list = []
    for i in range(len(text)):
        for j in range(i + 1, len(text) + 1):
            temp = text[i:j]
            if temp in dic:
                list.append(temp)
    return list


if __name__ == "__main__":
    dic = load_dictionary()
    print(fully_segment("在绝对实力面前,一切的说辞都是枉然", dic))

Python自然语言处理之切分算法详解

可以看到,完全切分算法输出了文本中所有的单字与词汇。
这里的算法原理是:开始遍历单个字,以该字为首,将后面每个字依次组合到单个字中,分析出这些组合字句是否在词典中。第二次,从第二个字开始,组合后面的字,以此类推。不懂的看下图就明白了。

Python自然语言处理之切分算法详解

三、正向最长匹配

虽然说完全切分能获取到所有出现在字典中的单词,单字,但是我们获取语句中单字一般来说没有任何意义,我们更希望获取的是中文分词,那种具有意义的词语序列。

比如,上面我们希望“绝对实力”成为一整个词,而不是“绝对”+“实力”之类的碎片。为了达到这个目的,我们需要完善一下我们的算法。考虑到越长的单词表达的意义更加的丰富,于是我们定义单词越长优先级越高。

具体来说,就是在某个下标为起点递增查词的过程中,优先输出更长的单词,这种规则被称为最长匹配算法。该下标的扫描顺序如果从前往后,则称为正向最长匹配,反之则为逆向最长匹配。

下面,我们来实现正向最长匹配,代码如下:

def forward_segment(text, dic):
    list = []
    i = 0
    while i < len(text):
        long_word = text[i]
        for j in range(i + 1, len(text) + 1):
            word = text[i:j]
            if word in dic:
                if len(word) > len(long_word):
                    long_word = word
        list.append(long_word)
        i += len(long_word)
    return list

算法的原理:首先通过while循环判断i是否超出了字符串的大小,如果没有,获取当前第一个字符串为第一个最长匹配结果,接着遍历第一个字符串的所有可能组合结尾,如果在字典中,判断当前词语是否大于前面的最长匹配结果,如果是替换掉最长。遍历完成之后,将最长的结果添加到列表中,然后再获取第二字符,遍历所有结尾组合,获取最长匹配。以此类推。

四、逆向最长匹配

既然了解了正向如何匹配,那么逆向算法应该也很好写。代码如下:

def backward_segment(text, dic):
    list = []
    i = len(text) - 1
    while i >= 0:
        long_word = text[i]
        for j in range(0, i):
            word = text[j:i + 1]
            if word in dic:
                if len(word) > len(long_word):
                    long_word = word
                    break
        list.append(long_word)
        i -= len(long_word)
    return list

算法的原理:就是上面的正向反过来,但是这里并不是倒推文字,文字还是按语句的顺序,但是长度是从最长到最短,也就是遇到第一个就可以返回了添加了。比正向最长匹配算法节约时间。

五、双向最长匹配

虽然逆向比正向节约时间,但本身有一个很大的漏洞。假如我现在的句子中有一段“项目的”字符串,那么正向会出现“项目”,“的”两个词汇,而逆向会出现:“项”,“目的”两个词汇。

为此,我们的算法工程师提出了新的匹配规则,双向最长匹配。这是一种融合两种匹配方法的复杂规则,流程如下:

同时执行正向和逆向最长匹配,若两者的词数不同,则返回词数更少的一个否则,返回两者中单字更少的那一个。当单字也相同时,优先返回逆向最长匹配结果

具体代码如下:

#统计单字个数
def count_single_char(list):
    return sum(1 for word in list if len(word) == 1)

#双向匹配算法
def bidirectional_segment():
    f = forward_segment("在绝对实力面前,一切的说辞都是枉然", dic)
    b = backward_segment("在绝对实力面前,一切的说辞都是枉然", dic)
    if len(f) < len(b):
        return f
    elif len(f) > len(b):
        return b
    else:
        if count_single_char(f)<count_single_char(b):
            return f
        else:
            return b

到此这篇关于Python自然语言处理之切分算法详解的文章就介绍到这了,更多相关python切分算法内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Python 相关文章推荐
linux下安装easy_install的方法
Feb 10 Python
python数据结构之二叉树的建立实例
Apr 29 Python
对于Python的框架中一些会话程序的管理
Apr 20 Python
Python语言的面相对象编程方式初步学习
Mar 12 Python
浅谈Python实现贪心算法与活动安排问题
Dec 19 Python
Python RabbitMQ消息队列实现rpc
May 30 Python
Tensorflow 实现修改张量特定元素的值方法
Jul 30 Python
Python中format()格式输出全解
Apr 12 Python
pycharm 批量修改变量名称的方法
Aug 01 Python
Pycharm配置autopep8实现流程解析
Nov 28 Python
Python3使用tesserocr识别字母数字验证码的实现
Jan 29 Python
Python中glob库实现文件名的匹配
Jun 18 Python
Python网络编程之ZeroMQ知识总结
Python 文本滚动播放器的实现代码
Apr 25 #Python
Python基于Opencv识别两张相似图片
matplotlib之pyplot模块实现添加子图subplot的使用
python实现简单区块链结构
python实现图片九宫格分割的示例
详解python中[-1]、[:-1]、[::-1]、[n::-1]使用方法
Apr 25 #Python
You might like
JS中encodeURIComponent函数用php解码的代码
2012/03/01 PHP
php实现根据字符串生成对应数组的方法
2014/09/22 PHP
PHP实现简易blog的制作
2016/10/24 PHP
JavaScript 使用技巧精萃(.net html
2009/04/25 Javascript
javascript window对象属性整理
2009/10/24 Javascript
jQuery中Dom的基本操作小结
2014/01/23 Javascript
jqTransform美化表单
2015/10/10 Javascript
window.setInterval()方法的定义和用法及offsetLeft与style.left的区别
2015/11/11 Javascript
基于jquery实现智能提示控件intellSeach.js
2016/03/17 Javascript
jQuery内存泄露解决办法
2016/12/13 Javascript
jQuery对table表格进行增删改查
2020/12/22 Javascript
js选项卡的制作方法
2017/01/23 Javascript
微信小程序微信支付接入开发实例详解
2017/04/12 Javascript
JS库之Highlight.js的用法详解
2017/09/13 Javascript
JS加密插件CryptoJS实现AES加密操作示例
2018/08/16 Javascript
Vue加载组件、动态加载组件的几种方式
2018/08/31 Javascript
Node.JS发送http请求批量检查文件中的网页地址、服务是否有效可用
2019/11/20 Javascript
Vue点击切换Class变化,实现Active当前样式操作
2020/07/17 Javascript
Python判断Abundant Number的方法
2015/06/15 Python
Python设计模式之外观模式实例详解
2019/01/17 Python
Python基于滑动平均思想实现缺失数据填充的方法
2019/02/21 Python
python实现在函数图像上添加文字和标注的方法
2019/07/08 Python
一篇文章搞定Python操作文件与目录
2019/08/13 Python
OpenCV模板匹配matchTemplate的实现
2019/10/18 Python
Python内存映射文件读写方式
2020/04/24 Python
html5自带表单验证体验优化及提示气泡修改功能
2017/09/12 HTML / CSS
使用phonegap检测网络状态的方法
2017/03/30 HTML / CSS
Html5如何唤起百度地图App的方法
2019/01/27 HTML / CSS
英国航空官网:British Airways
2016/09/11 全球购物
中学门卫岗位职责
2013/12/26 职场文书
表扬信格式
2014/01/12 职场文书
美德好少年事迹材料
2014/01/19 职场文书
道德模范先进事迹
2014/02/14 职场文书
读《茶花女》有感:山茶花的盛开与凋零
2020/01/17 职场文书
Python中json.load()和json.loads()有哪些区别
2021/06/07 Python
vue修饰符.capture和.self的区别
2022/04/22 Vue.js