python基于隐马尔可夫模型实现中文拼音输入


Posted in Python onApril 01, 2016

在网上看到一篇关于隐马尔科夫模型的介绍,觉得简直不能再神奇,又在网上找到大神的一篇关于如何用隐马尔可夫模型实现中文拼音输入的博客,无奈大神没给可以运行的代码,只能纯手动网上找到了结巴分词的词库,根据此训练得出隐马尔科夫模型,用维特比算法实现了一个简单的拼音输入法。githuh地址:https://github.com/LiuRoy/Pinyin_Demo

原理简介隐马尔科夫模型

抄一段网上的定义:

隐马尔可夫模型 (Hidden Markov Model) 是一种统计模型,用来描述一个含有隐含未知参数的马尔可夫过程。其难点是从可观察的参数中确定该过程的隐含参数,然后利用这些参数来作进一步的分析。

拼音输入法中可观察的参数就是拼音,隐含的参数就是对应的汉字。

viterbi算法

参考https://zh.wikipedia.org/wiki/维特比算法,思想是动态规划,代码比较简单就不赘述。

代码解释

model定义

代码见model/table.py文件,针对隐马尔科夫的三个概率矩阵,分别设计了三个数据表存储。这样的好处很明显,汉字的转移概率矩阵是一个非常大的稀疏矩阵,直接文件存储占用空间很大,并且加载的时候也只能一次性读入内存,不仅内存占用高而且加载速度慢。此外数据库的join操作非常方便viterbi算法中的概率计算。

数据表定义如下:

class Transition(BaseModel):

  __tablename__ = 'transition'

  id = Column(Integer, primary_key=True)
  previous = Column(String(1), nullable=False)
  behind = Column(String(1), nullable=False)
  probability = Column(Float, nullable=False)


class Emission(BaseModel):

  __tablename__ = 'emission'

  id = Column(Integer, primary_key=True)
  character = Column(String(1), nullable=False)
  pinyin = Column(String(7), nullable=False)
  probability = Column(Float, nullable=False)


class Starting(BaseModel):

  __tablename__ = 'starting'

  id = Column(Integer, primary_key=True)
  character = Column(String(1), nullable=False)
  probability = Column(Float, nullable=False)

模型生成

代码见train/main.py文件,里面的initstarting,initemission,init_transition分别对应于生成隐马尔科夫模型中的初始概率矩阵,发射概率矩阵,转移概率矩阵,并把生成的结果写入sqlite文件中。训练用到的数据集是结巴分词里的词库,因为没有训练长句子,最后运行的结果也证明只能适用于短句输入。

初始概率矩阵

统计初始化概率矩阵,就是找出所有出现在词首的汉字,并统计它们出现在词首的次数,最后根据上述数据算出这些汉字出现在词首的概率,没统计的汉字就认为出现在词首的概率是0,不写入数据库。有一点注意的是为了防止概率计算的时候因为越算越小导致计算机无法比较,所有的概率都进行了自然对数运算。统计的结果如下:

python基于隐马尔可夫模型实现中文拼音输入

转移概率矩阵

此处用到的是最简单的一阶隐马尔科夫模型,即认为在一个句子里,每个汉字的出现只和它前面的的一个汉字有关,虽然简单粗暴,但已经可以满足大部分情况。统计的过程就是找出字典中每个汉字后面出现的汉字集合,并统计概率。因为这个概率矩阵非常的大,逐条数据写入数据库过慢,后续可以优化为批量写入,提高训练效率。结果如下:

python基于隐马尔可夫模型实现中文拼音输入

上图展示的一后面出现概率最高的十个字,也挺符合日常习惯。

发射概率矩阵

通俗点就是统计每个汉字对应的拼音以及在日常情况下的使用概率,已暴举例,它有两个读音:bao和pu,难点就是找bao和pu出现的概率。此处统计用到了pypinyin模块,把字典中的短语转换为拼音后进行概率统计,但是某些地方读音也不完全正确,最后运行的输入法会出现和拼音不匹配的结果。统计结果如下:

python基于隐马尔可夫模型实现中文拼音输入

viterbi实现

代码建input_method/viterbi.py文件,此处会找到最多十个局部最优解,注意是十个局部最优解而不是十个全局最优解,但是这十个解中最优的那个是全局最优解,代码如下:

def viterbi(pinyin_list):
  """
  viterbi算法实现输入法

  Aargs:
    pinyin_list (list): 拼音列表
  """
  start_char = Emission.join_starting(pinyin_list[0])
  V = {char: prob for char, prob in start_char}

  for i in range(1, len(pinyin_list)):
    pinyin = pinyin_list[i]

    prob_map = {}
    for phrase, prob in V.iteritems():
      character = phrase[-1]
      result = Transition.join_emission(pinyin, character)
      if not result:
        continue

      state, new_prob = result
      prob_map[phrase + state] = new_prob + prob

    if prob_map:
      V = prob_map
    else:
      return V
  return V

结果展示

运行input_method/viterbi.py文件,简单的展示一下运行结果:

python基于隐马尔可夫模型实现中文拼音输入

问题统计:

统计字典生成转移矩阵写入数据库的速度太慢,运行一次要将近十分钟。发射概率矩阵数据不准确,总有一些汉字的拼音不匹配。训练集太小,实现的输入法不适用于长句子。

Python 相关文章推荐
为Python的Tornado框架配置使用Jinja2模板引擎的方法
Jun 30 Python
Python学习小技巧之列表项的拼接
May 20 Python
python pandas获取csv指定行 列的操作方法
Jul 12 Python
python实现简单银行管理系统
Oct 25 Python
解决pandas展示数据输出时列名不能对齐的问题
Nov 18 Python
基于python中__add__函数的用法
Nov 25 Python
pyautogui自动化控制鼠标和键盘操作的步骤
Apr 01 Python
Python实现CAN报文转换工具教程
May 05 Python
pyCharm 实现关闭代码检查
Jun 09 Python
Scrapy基于scrapy_redis实现分布式爬虫部署的示例
Sep 29 Python
用python对oracle进行简单性能测试
Dec 05 Python
python 如何读、写、解析CSV文件
Mar 03 Python
Python使用BeautifulSoup库解析HTML基本使用教程
Mar 31 #Python
Python使用Mechanize模块编写爬虫的要点解析
Mar 31 #Python
Python语言实现获取主机名根据端口杀死进程
Mar 31 #Python
Linux中Python 环境软件包安装步骤
Mar 31 #Python
Python内置的HTTP协议服务器SimpleHTTPServer使用指南
Mar 30 #Python
横向对比分析Python解析XML的四种方式
Mar 30 #Python
python简单实现刷新智联简历
Mar 30 #Python
You might like
PHP学习之输出字符串(echo,print,printf,print_r和var_dump)
2011/04/17 PHP
PHP的Yii框架的基本使用示例
2015/08/21 PHP
Json_encode防止汉字转义成unicode的方法
2016/02/25 PHP
PHP登录验证码的实现与使用方法
2016/07/07 PHP
PHP实现的DES加密解密封装类完整实例
2017/04/29 PHP
Laravel5.1 框架表单验证操作实例详解
2020/01/07 PHP
详谈 Jquery Ajax异步处理Json数据.
2011/09/09 Javascript
javascript学习笔记(十) js对象 继承
2012/06/19 Javascript
jquery判断小数点两位和自动删除小数两位后的数字
2014/03/19 Javascript
JavaScript模拟重力状态下抛物运动的方法
2015/03/03 Javascript
js实现密码强度检测【附示例】
2016/03/30 Javascript
AngularJS Select(选择框)使用详解
2017/01/18 Javascript
详解vue组件通信的三种方式
2017/06/30 Javascript
javascript实现图片轮播代码
2019/07/09 Javascript
解决layer 关闭当前弹窗 关闭遮罩层 input值获取不到的问题
2019/09/25 Javascript
vuex存储复杂参数(如对象数组等)刷新数据丢失的解决方法
2019/11/05 Javascript
python的三目运算符和not in运算符使用示例
2014/03/03 Python
Python中列表(list)操作方法汇总
2014/08/18 Python
python实现根据图标提取分类应用程序实例
2014/09/28 Python
Python中的作用域规则详解
2015/01/30 Python
学习python类方法与对象方法
2016/03/15 Python
利用Python开发实现简单的记事本
2016/11/15 Python
python使用arcpy.mapping模块批量出图
2017/03/06 Python
python 美化输出信息的实例
2018/10/15 Python
html5服务器推送_动力节点Java学院整理
2017/07/12 HTML / CSS
移动HTML5前端框架—MUI的使用
2017/12/18 HTML / CSS
翻译专业应届生求职信
2013/11/23 职场文书
大学生开西餐厅创业计划书
2014/02/01 职场文书
上班看电影检讨书
2014/02/12 职场文书
党的群众路线教育实践方案
2014/05/11 职场文书
2014学习优秀共产党员先进事迹材料思想汇报
2014/09/14 职场文书
党的群众路线教育实践活动专题组织生活会发言材料
2014/10/17 职场文书
军训个人总结
2015/03/03 职场文书
物业保安辞职信
2015/05/12 职场文书
Windows11插耳机没反应怎么办? win11耳机没声音的多种解决办法
2021/11/21 数码科技
MySQL远程无法连接的一些常见原因总结
2022/09/23 MySQL