Python人工智能之路 jieba gensim 最好别分家之最简单的相似度实现


Posted in Python onAugust 13, 2019

简单的问答已经实现了,那么问题也跟着出现了,我不能确定问题一定是"你叫什么名字",也有可能是"你是谁","你叫啥"之类的,这就引出了人工智能中的另一项技术:

自然语言处理(NLP) : 大概意思就是 让计算机明白一句话要表达的意思,NLP就相当于计算机在思考你说的话,让计算机知道"你是谁","你叫啥","你叫什么名字"是一个意思

这就要做 : 语义相似度

接下来我们用Python大法来实现一个简单的自然语言处理

现在又要用到Python强大的三方库了

第一个是将中文字符串进行分词的库叫 jieba

pip install jieba

我们通常把这个库叫做 结巴分词 确实是结巴分词,而且这个词库是 made in china , 基本用一下这个结巴分词:

import jieba
key_word = "你叫什么名字" # 定义一句话,基于这句话进行分词
cut_word = jieba.cut(key_word) # 使用结巴分词中的cut方法对"你叫什么名字" 进行分词
print(cut_word) # <generator object Tokenizer.cut at 0x03676390> 不懂生成器的话,就忽略这里
cut_word_list = list(cut_word) # 如果不明白生成器的话,这里要记得把生成器对象做成列表
print(cut_word_list) # ['你', '叫', '什么', '名字']

测试代码就很明显了,它很清晰的把咱们的中文字符串转为列表存储起来了

第二个是一个语言训练库叫 gensim

pip install gensim

这个训练库很厉害, 里面封装很多机器学习的算法, 是目前人工智能的主流应用库,这个不是很好理解, 需要一定的Python数据处理的功底

import jieba
import gensim
from gensim import corpora
from gensim import models
from gensim import similarities
l1 = ["你的名字是什么", "你今年几岁了", "你有多高你胸多大", "你胸多大"]
a = "你今年多大了"
all_doc_list = []
for doc in l1:
 doc_list = [word for word in jieba.cut(doc)]
 all_doc_list.append(doc_list)
print(all_doc_list)
doc_test_list = [word for word in jieba.cut(a)]
# 制作语料库
dictionary = corpora.Dictionary(all_doc_list) # 制作词袋
# 词袋的理解
# 词袋就是将很多很多的词,进行排列形成一个 词(key) 与一个 标志位(value) 的字典
# 例如: {'什么': 0, '你': 1, '名字': 2, '是': 3, '的': 4, '了': 5, '今年': 6, '几岁': 7, '多': 8, '有': 9, '胸多大': 10, '高': 11}
# 至于它是做什么用的,带着问题往下看
print("token2id", dictionary.token2id)
print("dictionary", dictionary, type(dictionary))
corpus = [dictionary.doc2bow(doc) for doc in all_doc_list]
# 语料库:
# 这里是将all_doc_list 中的每一个列表中的词语 与 dictionary 中的Key进行匹配
# 得到一个匹配后的结果,例如['你', '今年', '几岁', '了']
# 就可以得到 [(1, 1), (5, 1), (6, 1), (7, 1)]
# 1代表的的是 你 1代表出现一次, 5代表的是 了 1代表出现了一次, 以此类推 6 = 今年 , 7 = 几岁
print("corpus", corpus, type(corpus))
# 将需要寻找相似度的分词列表 做成 语料库 doc_test_vec
doc_test_vec = dictionary.doc2bow(doc_test_list)
print("doc_test_vec", doc_test_vec, type(doc_test_vec))
# 将corpus语料库(初识语料库) 使用Lsi模型进行训练
lsi = models.LsiModel(corpus)
# 这里的只是需要学习Lsi模型来了解的,这里不做阐述
print("lsi", lsi, type(lsi))
# 语料库corpus的训练结果
print("lsi[corpus]", lsi[corpus])
# 获得语料库doc_test_vec 在 语料库corpus的训练结果 中的 向量表示
print("lsi[doc_test_vec]", lsi[doc_test_vec])
# 文本相似度
# 稀疏矩阵相似度 将 主 语料库corpus的训练结果 作为初始值
index = similarities.SparseMatrixSimilarity(lsi[corpus], num_features=len(dictionary.keys()))
print("index", index, type(index))
# 将 语料库doc_test_vec 在 语料库corpus的训练结果 中的 向量表示 与 语料库corpus的 向量表示 做矩阵相似度计算
sim = index[lsi[doc_test_vec]]
print("sim", sim, type(sim))
# 对下标和相似度结果进行一个排序,拿出相似度最高的结果
# cc = sorted(enumerate(sim), key=lambda item: item[1],reverse=True)
cc = sorted(enumerate(sim), key=lambda item: -item[1])
print(cc)
text = l1[cc[0][0]]
print(a,text)

总结

以上所述是小编给大家介绍的Python人工智能之路 jieba gensim 最好别分家之最简单的相似度实现 ,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对三水点靠木网站的支持!
如果你觉得本文对你有帮助,欢迎转载,烦请注明出处,谢谢!

Python 相关文章推荐
python3.0 字典key排序
Dec 24 Python
Python_LDA实现方法详解
Oct 25 Python
Python编程之gui程序实现简单文件浏览器代码
Dec 08 Python
python如何实现反向迭代
Mar 20 Python
python调用opencv实现猫脸检测功能
Jan 15 Python
GitHub 热门:Python 算法大全,Star 超过 2 万
Apr 29 Python
Pandas中resample方法详解
Jul 02 Python
python英语单词测试小程序代码实例
Sep 09 Python
Python 面向对象之类class和对象基本用法示例
Feb 02 Python
PyQT5 实现快捷键复制表格数据的方法示例
Jun 19 Python
通过Python pyecharts输出保存图片代码实例
Nov 25 Python
Python日志模块logging用法
Jun 05 Python
Python人工智能之路 之PyAudio 实现录音 自动化交互实现问答
Aug 13 #Python
Django rstful登陆认证并检查session是否过期代码实例
Aug 13 #Python
Python Request爬取seo.chinaz.com百度权重网站的查询结果过程解析
Aug 13 #Python
python实现对服务器脚本敏感信息的加密解密功能
Aug 13 #Python
python多线程+代理池爬取天天基金网、股票数据过程解析
Aug 13 #Python
Python字符串处理的8招秘籍(小结)
Aug 13 #Python
python实现批量修改服务器密码的方法
Aug 13 #Python
You might like
php数组一对一替换实现代码
2012/08/31 PHP
利用“多说”制作留言板、评论系统
2015/07/14 PHP
php生成验证码函数
2015/10/20 PHP
PHP Cookie学习笔记
2016/08/23 PHP
PHP中十六进制颜色与RGB颜色值互转的方法
2019/03/18 PHP
jquery 学习之二 属性 文本与值(text,val)
2010/11/25 Javascript
Windows系统中安装nodejs图文教程
2015/02/28 NodeJs
angularjs客户端实现压缩图片文件并上传实例
2015/07/06 Javascript
JS简单实现城市二级联动选择插件的方法
2015/08/19 Javascript
javascript引用类型之时间Date和数组Array
2015/08/27 Javascript
javascript中获取class的简单实现
2016/07/12 Javascript
js实现table添加行tr、删除行tr、清空行tr的简单实例
2016/10/15 Javascript
Webpack4+Babel7+ES6兼容IE8的实现
2019/04/10 Javascript
让 babel webpack vue 配置文件支持智能提示的方法
2019/06/22 Javascript
nodejs中使用archive压缩文件的实现代码
2019/11/26 NodeJs
es6函数之尾递归用法实例分析
2020/04/25 Javascript
Element-ui 自带的两种远程搜索(模糊查询)用法讲解
2021/01/29 Javascript
python+mysql实现简单的web程序
2014/09/11 Python
Python实现简单状态框架的方法
2015/03/19 Python
pygame学习笔记(4):声音控制
2015/04/15 Python
wxpython中自定义事件的实现与使用方法分析
2016/07/21 Python
python中如何使用正则表达式的集合字符示例
2017/10/09 Python
numpy.ndarray 交换多维数组(矩阵)的行/列方法
2018/08/02 Python
python模块和包的应用BASE_PATH使用解析
2019/12/14 Python
Python Pillow(PIL)库的用法详解
2020/09/19 Python
Scrapy爬虫文件批量运行的实现
2020/09/30 Python
python文件路径操作方法总结
2020/12/21 Python
Artist Guitars新西兰:乐器在线商店
2017/09/17 全球购物
化工专业推荐信范文
2013/11/28 职场文书
开展党的群众路线教育实践活动方案
2014/02/05 职场文书
酒店工程部经理岗位职责
2015/04/09 职场文书
2015个人年度工作总结范文
2015/05/28 职场文书
《打电话》教学反思
2016/02/22 职场文书
导游词之太行山青龙峡
2020/01/14 职场文书
详解NodeJS模块化
2021/06/15 NodeJs
MySQL中优化SQL语句的方法(show status、explain分析服务器状态信息)
2022/04/09 MySQL