Python人工智能之路 jieba gensim 最好别分家之最简单的相似度实现


Posted in Python onAugust 13, 2019

简单的问答已经实现了,那么问题也跟着出现了,我不能确定问题一定是"你叫什么名字",也有可能是"你是谁","你叫啥"之类的,这就引出了人工智能中的另一项技术:

自然语言处理(NLP) : 大概意思就是 让计算机明白一句话要表达的意思,NLP就相当于计算机在思考你说的话,让计算机知道"你是谁","你叫啥","你叫什么名字"是一个意思

这就要做 : 语义相似度

接下来我们用Python大法来实现一个简单的自然语言处理

现在又要用到Python强大的三方库了

第一个是将中文字符串进行分词的库叫 jieba

pip install jieba

我们通常把这个库叫做 结巴分词 确实是结巴分词,而且这个词库是 made in china , 基本用一下这个结巴分词:

import jieba
key_word = "你叫什么名字" # 定义一句话,基于这句话进行分词
cut_word = jieba.cut(key_word) # 使用结巴分词中的cut方法对"你叫什么名字" 进行分词
print(cut_word) # <generator object Tokenizer.cut at 0x03676390> 不懂生成器的话,就忽略这里
cut_word_list = list(cut_word) # 如果不明白生成器的话,这里要记得把生成器对象做成列表
print(cut_word_list) # ['你', '叫', '什么', '名字']

测试代码就很明显了,它很清晰的把咱们的中文字符串转为列表存储起来了

第二个是一个语言训练库叫 gensim

pip install gensim

这个训练库很厉害, 里面封装很多机器学习的算法, 是目前人工智能的主流应用库,这个不是很好理解, 需要一定的Python数据处理的功底

import jieba
import gensim
from gensim import corpora
from gensim import models
from gensim import similarities
l1 = ["你的名字是什么", "你今年几岁了", "你有多高你胸多大", "你胸多大"]
a = "你今年多大了"
all_doc_list = []
for doc in l1:
 doc_list = [word for word in jieba.cut(doc)]
 all_doc_list.append(doc_list)
print(all_doc_list)
doc_test_list = [word for word in jieba.cut(a)]
# 制作语料库
dictionary = corpora.Dictionary(all_doc_list) # 制作词袋
# 词袋的理解
# 词袋就是将很多很多的词,进行排列形成一个 词(key) 与一个 标志位(value) 的字典
# 例如: {'什么': 0, '你': 1, '名字': 2, '是': 3, '的': 4, '了': 5, '今年': 6, '几岁': 7, '多': 8, '有': 9, '胸多大': 10, '高': 11}
# 至于它是做什么用的,带着问题往下看
print("token2id", dictionary.token2id)
print("dictionary", dictionary, type(dictionary))
corpus = [dictionary.doc2bow(doc) for doc in all_doc_list]
# 语料库:
# 这里是将all_doc_list 中的每一个列表中的词语 与 dictionary 中的Key进行匹配
# 得到一个匹配后的结果,例如['你', '今年', '几岁', '了']
# 就可以得到 [(1, 1), (5, 1), (6, 1), (7, 1)]
# 1代表的的是 你 1代表出现一次, 5代表的是 了 1代表出现了一次, 以此类推 6 = 今年 , 7 = 几岁
print("corpus", corpus, type(corpus))
# 将需要寻找相似度的分词列表 做成 语料库 doc_test_vec
doc_test_vec = dictionary.doc2bow(doc_test_list)
print("doc_test_vec", doc_test_vec, type(doc_test_vec))
# 将corpus语料库(初识语料库) 使用Lsi模型进行训练
lsi = models.LsiModel(corpus)
# 这里的只是需要学习Lsi模型来了解的,这里不做阐述
print("lsi", lsi, type(lsi))
# 语料库corpus的训练结果
print("lsi[corpus]", lsi[corpus])
# 获得语料库doc_test_vec 在 语料库corpus的训练结果 中的 向量表示
print("lsi[doc_test_vec]", lsi[doc_test_vec])
# 文本相似度
# 稀疏矩阵相似度 将 主 语料库corpus的训练结果 作为初始值
index = similarities.SparseMatrixSimilarity(lsi[corpus], num_features=len(dictionary.keys()))
print("index", index, type(index))
# 将 语料库doc_test_vec 在 语料库corpus的训练结果 中的 向量表示 与 语料库corpus的 向量表示 做矩阵相似度计算
sim = index[lsi[doc_test_vec]]
print("sim", sim, type(sim))
# 对下标和相似度结果进行一个排序,拿出相似度最高的结果
# cc = sorted(enumerate(sim), key=lambda item: item[1],reverse=True)
cc = sorted(enumerate(sim), key=lambda item: -item[1])
print(cc)
text = l1[cc[0][0]]
print(a,text)

总结

以上所述是小编给大家介绍的Python人工智能之路 jieba gensim 最好别分家之最简单的相似度实现 ,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对三水点靠木网站的支持!
如果你觉得本文对你有帮助,欢迎转载,烦请注明出处,谢谢!

Python 相关文章推荐
python多线程http下载实现示例
Dec 30 Python
python使用os模块的os.walk遍历文件夹示例
Jan 27 Python
Python文件右键找不到IDLE打开项解决办法
Jun 08 Python
Python2.x利用commands模块执行Linux shell命令
Mar 11 Python
Python3 实现随机生成一组不重复数并按行写入文件
Apr 09 Python
Python3.6基于正则实现的计算器示例【无优化简单注释版】
Jun 14 Python
解决Python2.7中IDLE启动没有反应的问题
Nov 30 Python
python,Django实现的淘宝客登录功能示例
Jun 12 Python
python库matplotlib绘制坐标图
Oct 18 Python
flask框架json数据的拿取和返回操作示例
Nov 28 Python
基于FME使用Python过程图解
May 13 Python
python中关于数据类型的学习笔记
Jul 19 Python
Python人工智能之路 之PyAudio 实现录音 自动化交互实现问答
Aug 13 #Python
Django rstful登陆认证并检查session是否过期代码实例
Aug 13 #Python
Python Request爬取seo.chinaz.com百度权重网站的查询结果过程解析
Aug 13 #Python
python实现对服务器脚本敏感信息的加密解密功能
Aug 13 #Python
python多线程+代理池爬取天天基金网、股票数据过程解析
Aug 13 #Python
Python字符串处理的8招秘籍(小结)
Aug 13 #Python
python实现批量修改服务器密码的方法
Aug 13 #Python
You might like
提升PHP执行速度全攻略(上)
2006/10/09 PHP
如何使用PHP中的字符串函数
2006/10/09 PHP
php字符串截取中文截取2,单字节截取模式
2007/12/10 PHP
Ping服务的php实现方法,让网站快速被收录
2012/02/04 PHP
PHP的可变变量名的使用方法分享
2012/02/05 PHP
一组PHP加密解密函数分享
2014/06/05 PHP
PHP魔术方法__GET、__SET使用实例
2014/11/25 PHP
PHP微信支付结果通知与回调策略分析
2019/01/10 PHP
二行代码解决全部网页木马
2008/03/28 Javascript
Jquery 滑入滑出效果实现代码
2010/03/27 Javascript
关于extjs treepanel复选框选中父节点与子节点的问题
2013/04/02 Javascript
JavaScript实现表格排序方法
2013/06/14 Javascript
jquery select多选框的左右移动 具体实现代码
2013/07/03 Javascript
js中arguments的用法(实例讲解)
2013/11/30 Javascript
jQuery操作表格(table)的常用方法、技巧汇总
2014/04/12 Javascript
使用jQuery和Bootstrap实现多层、自适应模态窗口
2014/12/22 Javascript
Nodejs关于gzip/deflate压缩详解
2015/03/04 NodeJs
JS实现的仿东京商城菜单、仿Win右键菜单及仿淘宝TAB特效合集
2015/09/28 Javascript
JavaScipt选取文档元素的方法(推荐)
2016/08/05 Javascript
jQuery ready()和onload的加载耗时分析
2016/09/08 Javascript
详解JavaScript实现动态的轮播图效果
2019/04/29 Javascript
Vue 引入AMap高德地图的实现代码
2019/04/29 Javascript
如何使用JavaScript实现无缝滚动自动播放轮播图效果
2020/08/20 Javascript
python随机数分布random均匀分布实例
2019/11/27 Python
python自动下载图片的方法示例
2020/03/25 Python
python编写一个会算账的脚本的示例代码
2020/06/02 Python
纯css3显示隐藏一个div特效的具体实现
2014/02/10 HTML / CSS
CSS3中颜色线性渐变实战
2015/07/18 HTML / CSS
个人求职信范文分享
2014/01/06 职场文书
2014年机关党建工作总结
2014/11/11 职场文书
2014年客户经理工作总结
2014/11/20 职场文书
西部计划志愿者工作总结
2015/08/11 职场文书
详解MySQL 联合查询优化机制
2021/05/10 MySQL
详解vue身份认证管理和租户管理
2021/05/25 Vue.js
Django与数据库交互的实现
2021/06/03 Python
JavaScript展开运算符和剩余运算符的区别详解
2022/02/18 Javascript