python中文分词教程之前向最大正向匹配算法详解


Posted in Python onNovember 02, 2017

前言

大家都知道,英文的分词由于单词间是以空格进行分隔的,所以分词要相对的容易些,而中文就不同了,中文中一个句子的分隔就是以字为单位的了,而所谓的正向最大匹配和逆向最大匹配便是一种分词匹配的方法,这里以词典匹配说明。

最大匹配算法是自然语言处理中的中文匹配算法中最基础的算法,分为正向和逆向,原理都是一样的。

正向最大匹配算法,故名思意,从左向右扫描寻找词的最大匹配。

首先我们可以规定一个词的最大长度,每次扫描的时候寻找当前开始的这个长度的词来和字典中的词匹配,如果没有找到,就缩短长度继续寻找,直到找到或者成为单字。

下面话不多说了,来一起看看详细的介绍吧。

实例:

S1="计算语言学课程是三个课时" ,设定最大词长MaxLen = 5 ,S2= " "

字典中含有三个词:[计算语言学]、[课程]、[课时]

    (1)S2="";S1不为空,从S1左边取出候选子串W="计算语言学";

    (2)查词表,“计算语言学”在词表中,将W加入到S2中,S2=“计算语言学/ ”, 并将W从S1中去掉,此时S1="课程是三个课时";

    (3)S1不为空,于是从S1左边取出候选子串W="课程是三个";

    (4)查词表,W不在词表中,将W最右边一个字去掉,得到W="课程是三";

    (5)查词表,W不在词表中,将W最右边一个字去掉,得到W="课程是";

    (6)查词表,W不在词表中,将W最右边一个字去掉,得到W="课程"

    (7)查词表,W在词表中,将W加入到S2中,S2=“计算语言学/ 课程/ ”,并 将W从S1中去掉,此时S1="是三个课时";

    (8)S1不为空,于是从S1左边取出候选子串W="是三个课时";

    (9)查词表,W不在词表中,将W最右边一个字去掉,得到W="是三个课";

    (10)查词表,W不在词表中,将W最右边一个字去掉,得到W="是三个";

    (11)查词表,W不在词表中,将W最右边一个字去掉,得到W="是三"

    (12)查词表,W不在词表中,将W最右边一个字去掉,得到W=“是”,这时 W是单字,将W加入到S2中,S2=“计算语言学/ 课程/ 是/ ”,并将 W从S1中去掉,此时S1="三个课时";

    (13)S1不为空,从S1左边取出候选子串W="三个课时";

    (14)查词表,W不在词表中,将W最右边一个字去掉,得到W="三个课";

    (15)查词表,W不在词表中,将W最右边一个字去掉,得到W="三个";

    (16)查词表,W不在词表中,将W最右边一个字去掉,得到W=“三”,这时 W是单字,将W加入到S2中,S2=“计算语言学/ 课程/ 是/ 三/ ”,并 将W从S1中去掉,此时S1="个课时";

    (17)S1不为空,从S1左边取出候选子串W="个课时";

    (18)查词表,W不在词表中,将W最右边一个字去掉,得到W="个课";

    (19)查词表,W不在词表中,将W最右边一个字去掉,得到W=“个”, 这时W是单字,将W加入到S2中,S2=“计算语言学/ 课程/ 是/ 三/ 个/ ",并将W从S1中去掉,此时S1="课时";

    (20)S1不为空,从S1左边取出候选子串W="课时";

    (21)查词表,W在词表中,将W加入到S2中,S2=“计算语言学/ 课程/ 是/ 三/ 个/ 课时/ ",并将W从S1中去掉,此时S1=""。

    (22)S1为空,输出S2作为分词结果,分词过程结束。

而至于为什么选择python这个语言呢?大概是因为我周围人用得少吧,我就想尝试突破,不过我也不讳言,我的C/C++,java等等高级语言用的也不多,虽说编程语言这个东西,基本上只要熟悉一个,其他的都好学,不过我在python上尝到了甜头,索性就用这个语言了。

中文分词算法的Python实现:

脚本接受两个参数,一个是输入文件的路径,另一个是词典的路径。

它的运行方法如下:

python max-match.py <data> <dict>
#!/usr/bin/env python
import cPickle as pickle
import sys

# 词语最大长度为5
window_size=5

def max_match_segment(line, dic):
 # write your code here
 chars = line.decode("utf8")
 words = []
 idx = 0
 # 判断索引是否超过chars的长度
 while idx < len(chars):
  matched = False
  for i in xrange(window_size, 0, -1):
   cand=chars[idx:idx+i].encode("utf8")
   if cand in dic:
    words.append(cand)
    matched = True
    break
  # 判断for中是否匹配到数据
  if not matched:
   i = 1
   words.append(chars[idx].encode("utf8"))
  idx += i

 return words

if __name__=="__main__":

 try:
  fpi=open(sys.argv[1], "r")
 except:
  print >> sys.stderr, "failed to open file"
  sys.exit(1)

 try:
  dic = pickle.load(open(sys.argv[2], "r"))
 except:
  print >> sys.stderr, "failed to load dict %s" % sys.argv[2]
  sys.exit(1)
 try:
  fpo = open("out.txt","w")
 except:
  print >> sys.stderr, "failed to load out.txt"
  sys.exit(1)
 for line in fpi:
  fpo.write("\t".join( max_match_segment(line.strip(), dic) ))

当然,这只是最基础的,还可以有很多高级的优化,比如说改成Trie树版本的,控制最大词长度的等等。

总结

以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作具有一定的参考学习价值,如果有疑问大家可以留言交流,谢谢大家对三水点靠木的支持。

Python 相关文章推荐
python实现每次处理一个字符的三种方法
Oct 09 Python
python实现简单点对点(p2p)聊天
Sep 13 Python
Django视图之ORM数据库查询操作API的实例
Oct 27 Python
python中列表和元组的区别
Dec 18 Python
解决Mac安装scrapy失败的问题
Jun 13 Python
Python中的 enum 模块源码详析
Jan 09 Python
解决python写入带有中文的字符到文件错误的问题
Jan 31 Python
情人节快乐! python绘制漂亮玫瑰
Aug 18 Python
python return逻辑判断表达式实现解析
Dec 02 Python
pytorch 中pad函数toch.nn.functional.pad()的用法
Jan 08 Python
Python使用sqlite3模块内置数据库
May 07 Python
python使用pymysql模块操作MySQL
Jun 16 Python
详解Python里使用正则表达式的ASCII模式
Nov 02 #Python
python安装numpy&amp;安装matplotlib&amp; scipy的教程
Nov 02 #Python
python中实现精确的浮点数运算详解
Nov 02 #Python
利用Python-iGraph如何绘制贴吧/微博的好友关系图详解
Nov 02 #Python
python3.0 模拟用户登录,三次错误锁定的实例
Nov 02 #Python
Python安装Numpy和matplotlib的方法(推荐)
Nov 02 #Python
Python 多进程并发操作中进程池Pool的实例
Nov 01 #Python
You might like
php smarty模板引擎的6个小技巧
2014/04/24 PHP
PHP对文件夹递归执行chmod命令的方法
2015/06/19 PHP
PHP 中常量的知识整理
2017/04/14 PHP
PHP 多任务秒级定时器的实现方法
2018/05/13 PHP
Yii2结合Workerman的websocket示例详解
2018/09/10 PHP
CentOS7编译安装php7.1的教程详解
2019/04/18 PHP
判断js对象是否拥有某一个属性的js代码
2013/08/16 Javascript
JS.findElementById()使用介绍
2013/09/21 Javascript
javascript得到当前页的来路即前一页地址的方法
2014/02/18 Javascript
AngularJS初始化过程分析(引导程序)
2014/12/06 Javascript
由ReactJS的Hello world说开来
2015/07/02 Javascript
纯JS实现可拖拽表单的简单实例
2016/09/02 Javascript
最实用的jQuery分页插件
2016/10/09 Javascript
深入理解Vue 的条件渲染和列表渲染
2017/09/01 Javascript
Vue学习笔记之表单输入控件绑定
2017/09/05 Javascript
Angular5中状态管理的实现
2018/09/03 Javascript
用webpack4开发小程序的实现方法
2019/06/04 Javascript
解决layui调用自定义方法提示未定义的问题
2019/09/14 Javascript
JS 数组基本用法入门示例解析
2020/01/16 Javascript
js实现特别简单的钟表效果
2020/09/14 Javascript
js实现详情页放大镜效果
2020/10/28 Javascript
[02:57]2014DOTA2国际邀请赛 选手辛苦解说更辛苦
2014/07/10 DOTA
Python中使用摄像头实现简单的延时摄影技术
2015/03/27 Python
python使用BeautifulSoup分页网页中超链接的方法
2015/04/04 Python
django实现支付宝支付实例讲解
2019/10/17 Python
关于Python3 lambda函数的深入浅出
2019/11/27 Python
django admin后管定制-显示字段的实例
2020/03/11 Python
python中lower函数实现方法及用法讲解
2020/12/23 Python
摄影实习自我鉴定
2013/09/20 职场文书
店长岗位职责
2013/11/21 职场文书
计算机网络专业推荐信
2013/11/24 职场文书
趣味活动策划方案
2014/02/08 职场文书
槐乡的孩子教学反思
2014/04/27 职场文书
保证书范文大全
2014/04/28 职场文书
个人三严三实对照检查材料思想汇报
2014/09/22 职场文书
预防艾滋病宣传活动总结
2015/05/09 职场文书