python同义词替换的实现(jieba分词)


Posted in Python onJanuary 21, 2020

TihuanWords.txt文档格式

注意:同一行的词用单个空格隔开,每行第一个词为同行词的替换词。

年休假 年假 年休
究竟 到底
回家场景 我回来了

代码

import jieba


def replaceSynonymWords(string1):
 # 1读取同义词表,并生成一个字典。
 combine_dict = {}
 # synonymWords.txt是同义词表,每行是一系列同义词,用空格分割
 for line in open("TihuanWords.txt", "r", encoding='utf-8'):
   seperate_word = line.strip().split(" ")
   num = len(seperate_word)
   for i in range(1, num):
     combine_dict[seperate_word[i]] = seperate_word[0]
   print(seperate_word)
 print(combine_dict)

 # 2提升某些词的词频,使其能够被jieba识别出来
 jieba.suggest_freq("年休假", tune=True)

 # 3将语句切分成单词
 seg_list = jieba.cut(string1, cut_all=False)

 f = "/".join(seg_list).encode("utf-8")
 f = f.decode("utf-8")
 print(f)
 # 4返回同义词替换后的句子
 final_sentence = " "
 for word in f.split('/'):
   if word in combine_dict:
     word = combine_dict[word]
     final_sentence += word
   else:
     final_sentence += word
 # print final_sentence
 return final_sentence


string1 = '年休到底放几天?'
print(replaceSynonymWords(string1))

结果

python同义词替换的实现(jieba分词)

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python中的yield使用方法
Feb 11 Python
Python设计模式之观察者模式实例
Apr 26 Python
python入门之语句(if语句、while语句、for语句)
Jan 19 Python
Python使用urllib2模块实现断点续传下载的方法
Jun 17 Python
实例Python处理XML文件的方法
Aug 31 Python
python+opencv实现动态物体追踪
Jan 09 Python
Pandas实现数据类型转换的一些小技巧汇总
May 07 Python
pytorch 数据集图片显示方法
Jul 26 Python
基于Python的PIL库学习详解
May 10 Python
Python爬虫之Selenium下拉框处理的实现
Dec 04 Python
python常见的占位符总结及用法
Jul 02 Python
Python列表的索引与切片
Apr 07 Python
tensorflow模型保存、加载之变量重命名实例
Jan 21 #Python
tensorflow实现测试时读取任意指定的check point的网络参数
Jan 21 #Python
tensorflow如何继续训练之前保存的模型实例
Jan 21 #Python
在tensorflow中设置保存checkpoint的最大数量实例
Jan 21 #Python
TensorFlow——Checkpoint为模型添加检查点的实例
Jan 21 #Python
tensorflow estimator 使用hook实现finetune方式
Jan 21 #Python
Python实现FLV视频拼接功能
Jan 21 #Python
You might like
解析PHP中的内存管理,PHP动态分配和释放内存
2013/06/28 PHP
PHP采集类Snoopy抓取图片实例
2014/06/19 PHP
php递归法读取目录及文件的方法
2015/01/30 PHP
PHP判断是否为空的几个函数对比
2015/04/21 PHP
PHP文件及文件夹操作之创建、删除、移动、复制
2016/07/13 PHP
php+resumablejs实现的分块上传 断点续传功能示例
2017/04/18 PHP
Thinkphp5.0 框架视图view的比较标签用法分析
2019/10/12 PHP
JavaScript性能陷阱小结(附实例说明)
2010/12/28 Javascript
深入理解JavaScript系列(15) 函数(Functions)
2012/04/12 Javascript
Javascript之this关键字深入解析
2013/11/12 Javascript
Javascript 按位左移运算符使用介绍(
2014/02/04 Javascript
将form表单中的元素转换成对象的方法适用表单提交
2014/05/02 Javascript
常用jQuery代码分享
2015/07/14 Javascript
javascript弹出窗口实现代码
2015/11/12 Javascript
JavaScript中split与join函数的进阶使用技巧
2016/05/03 Javascript
Node.js读写文件之批量替换图片的实现方法
2016/09/07 Javascript
Bootstrap中datetimepicker使用小结
2016/12/28 Javascript
vue日期组件 支持vue1.0和2.0
2017/01/09 Javascript
JavaScript之json_动力节点Java学院整理
2017/06/29 Javascript
简单的Vue异步组件实例Demo
2017/12/27 Javascript
vue中Element-ui 输入银行账号每四位加一个空格的实现代码
2018/09/14 Javascript
对VUE中的对象添加属性
2018/09/18 Javascript
vuex 多模块时 模块内部的mutation和action的调用方式
2020/07/24 Javascript
Python中getattr函数和hasattr函数作用详解
2016/06/14 Python
Python3 列表,数组,矩阵的相互转换的方法示例
2019/08/05 Python
python sqlite的Row对象操作示例
2019/09/11 Python
Python3 使用selenium插件爬取苏宁商家联系电话
2019/12/23 Python
Django模板标签中url使用详解(url跳转到指定页面)
2020/03/19 Python
详解Python3 定义一个跨越多行的字符串的多种方法
2020/09/06 Python
元旦联欢会感言
2014/03/04 职场文书
2014年帮扶工作总结
2014/11/26 职场文书
颐和园的导游词
2015/01/30 职场文书
《叶问2》观后感
2015/06/15 职场文书
2016年春节问候语
2015/11/11 职场文书
竞选稿之小学班干部
2019/10/31 职场文书
Python Pandas常用函数方法总结
2021/06/15 Python