Python人工智能之路 jieba gensim 最好别分家之最简单的相似度实现


Posted in Python onAugust 13, 2019

简单的问答已经实现了,那么问题也跟着出现了,我不能确定问题一定是"你叫什么名字",也有可能是"你是谁","你叫啥"之类的,这就引出了人工智能中的另一项技术:

自然语言处理(NLP) : 大概意思就是 让计算机明白一句话要表达的意思,NLP就相当于计算机在思考你说的话,让计算机知道"你是谁","你叫啥","你叫什么名字"是一个意思

这就要做 : 语义相似度

接下来我们用Python大法来实现一个简单的自然语言处理

现在又要用到Python强大的三方库了

第一个是将中文字符串进行分词的库叫 jieba

pip install jieba

我们通常把这个库叫做 结巴分词 确实是结巴分词,而且这个词库是 made in china , 基本用一下这个结巴分词:

import jieba
key_word = "你叫什么名字" # 定义一句话,基于这句话进行分词
cut_word = jieba.cut(key_word) # 使用结巴分词中的cut方法对"你叫什么名字" 进行分词
print(cut_word) # <generator object Tokenizer.cut at 0x03676390> 不懂生成器的话,就忽略这里
cut_word_list = list(cut_word) # 如果不明白生成器的话,这里要记得把生成器对象做成列表
print(cut_word_list) # ['你', '叫', '什么', '名字']

测试代码就很明显了,它很清晰的把咱们的中文字符串转为列表存储起来了

第二个是一个语言训练库叫 gensim

pip install gensim

这个训练库很厉害, 里面封装很多机器学习的算法, 是目前人工智能的主流应用库,这个不是很好理解, 需要一定的Python数据处理的功底

import jieba
import gensim
from gensim import corpora
from gensim import models
from gensim import similarities
l1 = ["你的名字是什么", "你今年几岁了", "你有多高你胸多大", "你胸多大"]
a = "你今年多大了"
all_doc_list = []
for doc in l1:
 doc_list = [word for word in jieba.cut(doc)]
 all_doc_list.append(doc_list)
print(all_doc_list)
doc_test_list = [word for word in jieba.cut(a)]
# 制作语料库
dictionary = corpora.Dictionary(all_doc_list) # 制作词袋
# 词袋的理解
# 词袋就是将很多很多的词,进行排列形成一个 词(key) 与一个 标志位(value) 的字典
# 例如: {'什么': 0, '你': 1, '名字': 2, '是': 3, '的': 4, '了': 5, '今年': 6, '几岁': 7, '多': 8, '有': 9, '胸多大': 10, '高': 11}
# 至于它是做什么用的,带着问题往下看
print("token2id", dictionary.token2id)
print("dictionary", dictionary, type(dictionary))
corpus = [dictionary.doc2bow(doc) for doc in all_doc_list]
# 语料库:
# 这里是将all_doc_list 中的每一个列表中的词语 与 dictionary 中的Key进行匹配
# 得到一个匹配后的结果,例如['你', '今年', '几岁', '了']
# 就可以得到 [(1, 1), (5, 1), (6, 1), (7, 1)]
# 1代表的的是 你 1代表出现一次, 5代表的是 了 1代表出现了一次, 以此类推 6 = 今年 , 7 = 几岁
print("corpus", corpus, type(corpus))
# 将需要寻找相似度的分词列表 做成 语料库 doc_test_vec
doc_test_vec = dictionary.doc2bow(doc_test_list)
print("doc_test_vec", doc_test_vec, type(doc_test_vec))
# 将corpus语料库(初识语料库) 使用Lsi模型进行训练
lsi = models.LsiModel(corpus)
# 这里的只是需要学习Lsi模型来了解的,这里不做阐述
print("lsi", lsi, type(lsi))
# 语料库corpus的训练结果
print("lsi[corpus]", lsi[corpus])
# 获得语料库doc_test_vec 在 语料库corpus的训练结果 中的 向量表示
print("lsi[doc_test_vec]", lsi[doc_test_vec])
# 文本相似度
# 稀疏矩阵相似度 将 主 语料库corpus的训练结果 作为初始值
index = similarities.SparseMatrixSimilarity(lsi[corpus], num_features=len(dictionary.keys()))
print("index", index, type(index))
# 将 语料库doc_test_vec 在 语料库corpus的训练结果 中的 向量表示 与 语料库corpus的 向量表示 做矩阵相似度计算
sim = index[lsi[doc_test_vec]]
print("sim", sim, type(sim))
# 对下标和相似度结果进行一个排序,拿出相似度最高的结果
# cc = sorted(enumerate(sim), key=lambda item: item[1],reverse=True)
cc = sorted(enumerate(sim), key=lambda item: -item[1])
print(cc)
text = l1[cc[0][0]]
print(a,text)

总结

以上所述是小编给大家介绍的Python人工智能之路 jieba gensim 最好别分家之最简单的相似度实现 ,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对三水点靠木网站的支持!
如果你觉得本文对你有帮助,欢迎转载,烦请注明出处,谢谢!

Python 相关文章推荐
Python自定义进程池实例分析【生产者、消费者模型问题】
Sep 19 Python
python 读写txt文件 json文件的实现方法
Oct 22 Python
Python使用内置json模块解析json格式数据的方法
Jul 20 Python
Flask模拟实现CSRF攻击的方法
Jul 24 Python
python3 打开外部程序及关闭的示例
Nov 06 Python
Python3中_(下划线)和__(双下划线)的用途和区别
Apr 26 Python
python-django中的APPEND_SLASH实现方法
Jun 21 Python
python实现小世界网络生成
Nov 21 Python
Python 3.8 新功能大揭秘【新手必学】
Feb 05 Python
python 串行执行和并行执行实例
Apr 30 Python
python 如何在测试中使用 Mock
Mar 01 Python
FP-growth算法发现频繁项集——发现频繁项集
Jun 24 Python
Python人工智能之路 之PyAudio 实现录音 自动化交互实现问答
Aug 13 #Python
Django rstful登陆认证并检查session是否过期代码实例
Aug 13 #Python
Python Request爬取seo.chinaz.com百度权重网站的查询结果过程解析
Aug 13 #Python
python实现对服务器脚本敏感信息的加密解密功能
Aug 13 #Python
python多线程+代理池爬取天天基金网、股票数据过程解析
Aug 13 #Python
Python字符串处理的8招秘籍(小结)
Aug 13 #Python
python实现批量修改服务器密码的方法
Aug 13 #Python
You might like
PHP 多进程 解决难题
2009/06/22 PHP
利用phpexcel把excel导入数据库和数据库导出excel实现
2014/01/09 PHP
ThinkPHP3.2.3实现分页的方法详解
2016/06/03 PHP
详解php curl带有csrf-token验证模拟提交方法
2018/04/18 PHP
php函数式编程简单示例
2019/08/08 PHP
基于laravel-admin 后台 列表标签背景的使用方法
2019/10/03 PHP
js+FSO遍历文件夹下文件并显示
2007/03/07 Javascript
js修改input的type属性及浏览器兼容问题探讨与解决
2013/01/23 Javascript
js带缩略图的图片轮播效果代码分享
2015/09/14 Javascript
javascript类型系统_正则表达式RegExp类型详解
2016/06/24 Javascript
全面了解javascript中的错误处理机制
2016/07/18 Javascript
node文件批量重命名的方法示例
2017/10/23 Javascript
Python 命令行参数sys.argv
2008/09/06 Python
python中对list去重的多种方法
2014/09/18 Python
实例讲解Python设计模式编程之工厂方法模式的使用
2016/03/02 Python
JPype实现在python中调用JAVA的实例
2017/07/19 Python
Django框架之DRF 基于mixins来封装的视图详解
2019/07/23 Python
浅谈Python 递归算法指归
2019/08/22 Python
Django实现文件上传下载
2019/10/06 Python
Python属性和内建属性实例解析
2020/01/14 Python
python实现低通滤波器代码
2020/02/26 Python
python 制作磁力搜索工具
2021/03/04 Python
HTML5 UTF-8 中文乱码的解决方法
2013/11/18 HTML / CSS
瑞典灯具和照明网上商店:Lamp24.se
2018/03/17 全球购物
Schecker荷兰:狗狗用品和配件
2019/06/06 全球购物
沙特阿拉伯电子产品和家用电器购物网站:Black Box
2019/07/24 全球购物
Auguste The Label官网:澳大利亚一家精品女装时尚品牌
2020/06/14 全球购物
亿企通软件测试面试题
2012/04/10 面试题
会计实习生自我鉴定
2013/12/12 职场文书
残疾人小组计划书
2014/04/27 职场文书
青奥会口号
2014/06/12 职场文书
路政管理求职信
2014/06/18 职场文书
八年级上册语文教学计划
2015/01/22 职场文书
工作计划范文之财务管理
2019/08/09 职场文书
React如何创建组件
2021/06/27 Javascript
Python内置类型集合set和frozenset的使用详解
2022/04/26 Python