python机器学习创建基于规则聊天机器人过程示例详解


Posted in Python onNovember 02, 2021

还记得这个价值一个亿的AI核心代码?

python机器学习创建基于规则聊天机器人过程示例详解

while True:
    AI = input('我:')
    print(AI.replace("吗", " ").replace('?','!').replace('?','!'))

以上这段代码就是我们今天的主题,基于规则的聊天机器人

聊天机器人

聊天机器人本身是一种机器或软件,它通过文本或句子模仿人类交互。 简而言之,可以使用类似于与人类对话的软件进行聊天。

为什么要尝试创建聊天机器人? 也许你对一个新项目感兴趣,或者公司需要一个,或者想去拉投资。 无论动机是什么,本文都将尝试解释如何创建一个简单的基于规则的聊天机器人。

基于规则的聊天机器人

什么是基于规则的聊天机器人?它是一种基于特定规则来回答人类给出的文本的聊天机器人。由于它基于强加的规则所以这个聊天机器人生成的响应几乎是准确的;但是,如果我们收到与规则不匹配的查询,聊天机器人将不会回答。与它相对的另一个版本是基于模型的聊天机器人,它通过机器学习模型来回答给定的查询。(二者的区别就是基于规则的需要我们指定每一条规则,而且基于模型的会通过训练模型自动生成规则,还记得我们上一篇的”机器学习介绍“吗,“机器学习为系统提供无需明确编程就能根据经验自动学习和改进的能力。”)

基于规则的聊天机器人可能基于人类给出的规则,但这并不意味着我们不使用数据集。聊天机器人的主要目标仍然是自动化人类提出的问题,所以我们还是需要数据来制定特定的规则。

在本文中,我们将利用余弦相似距离作为基础开发基于规则的聊天机器人。余弦相似度是向量(特别是内积空间的非零向量)之间的相似度度量,常用于度量两个文本之间的相似度。

我们将使用余弦相似度创建一个聊天机器人,通过对比查询与我们开发的语料库之间的相似性来回答查询提出的问题。这也是我们最初需要开发我们的语料库的原因。

创建语料库

对于这个聊天机器人示例,我想创建一个聊天机器人来回答有关猫的所有问题。 为了收集关于猫的数据,我会从网上抓取它。

import bs4 as bs
import urllib.request#Open the cat web data page
cat_data = urllib.request.urlopen('https://simple.wikipedia.org/wiki/Cat').read()
#Find all the paragraph html from the web page
cat_data_paragraphs  = bs.BeautifulSoup(cat_data,'lxml').find_all('p')
#Creating the corpus of all the web page paragraphs
cat_text = ''
#Creating lower text corpus of cat paragraphs
for p in cat_data_paragraphs:
    cat_text += p.text.lower()
print(cat_text)

python机器学习创建基于规则聊天机器人过程示例详解

使用上面的代码,会得到来自wikipedia页面的段落集合。 接下来,需要清理文本以去除括号编号和空格等无用的文本。

import re
cat_text = re.sub(r'\s+', ' ',re.sub(r'\[[0-9]*\]', ' ', cat_text))

上述代码将从语料库中删除括号号。我特意没有去掉这些符号和标点符号,因为当与聊天机器人进行对话时,这样听起来会很自然。

最后,我将根据之前创建的语料库创建一个句子列表。

import nltk
cat_sentences = nltk.sent_tokenize(cat_text)

python机器学习创建基于规则聊天机器人过程示例详解

我们的规则很简单:将聊天机器人的查询文本与句子列表中的每一个文本之间的进行余弦相似性的度量,哪个结果产生的相似度最接近(最高余弦相似度)那么它就是我们的聊天机器人的答案。

创建一个聊天机器人

我们上面的语料库仍然是文本形式,余弦相似度不接受文本数据;所以需要将语料库转换成数字向量。通常的做法是将文本转换为词袋(单词计数)或使用TF-IDF方法(频率概率)。在我们的例子中,我们将使用TF-IDF。

我将创建一个函数,它接收查询文本,并根据以下代码中的余弦相似性给出一个输出。

让我们看一下代码。

from sklearn.metrics.pairwise import cosine_similarity
from sklearn.feature_extraction.text import TfidfVectorizer
def chatbot_answer(user_query):
    
    #Append the query to the sentences list
    cat_sentences.append(user_query)    
    #Create the sentences vector based on the list
    vectorizer = TfidfVectorizer()
    sentences_vectors = vectorizer.fit_transform(cat_sentences)
    
    #Measure the cosine similarity and take the second closest index because the first index is the user query
    vector_values = cosine_similarity(sentences_vectors[-1], sentences_vectors)
    answer = cat_sentences[vector_values.argsort()[0][-2]]    
    #Final check to make sure there are result present. If all the result are 0, means the text input by us are not captured in the corpus
    input_check = vector_values.flatten()
    input_check.sort()
    
    if input_check[-2] == 0:
        return "Please Try again"
    else: 
        return answer

我们可以把上面的函数使用下面的流程图进行表示:

python机器学习创建基于规则聊天机器人过程示例详解

最后,使用以下代码创建一个简单的回答交互。

print("Hello, I am the Cat Chatbot. What is your meow questions?:")
while(True):
    query = input().lower()
    if query not in ['bye', 'good bye', 'take care']:
        print("Cat Chatbot: ", end="")
        print(chatbot_answer(query))
        cat_sentences.remove(query)
    else:
        print("See You Again")
        break

上面的脚本将接收查询,并通过我们之前开发的聊天机器人处理它们。

python机器学习创建基于规则聊天机器人过程示例详解

从上面的图片中看到的,结果还是可以接受的,但有也有些奇怪的回答。但是我们要想到,目前只从一个数据源中得到的结果,并且也没有做任何的优化。如果我们用额外的数据集和规则来改进它,它肯定会更好地回答问题。

总结

聊天机器人项目是一个令人兴奋的数据科学项目,因为它在许多领域都有帮助。在本文中,我们使用从网页中获取的数据,利用余弦相似度和TF-IDF,用Python创建了一个简单的聊天机器人项目,真正的将我们的1个亿的项目落地。其实这里面还有很多的改进:

向量化的选择,除了TF-IDF还可以使用word2vec,甚至使用预训练的bert提取词向量。

回答环节,其实就是通过某种特定的算法或者规则从我们的语料库中搜索最匹配的答案,本文中使用的相似度top1的方法其实就是一个最简单的类greedsearch的方法,对于答案结果的优化还可以使用类beamsearch 的算法提取回答的匹配项。

等等很多

在端到端的深度学习兴起之前,很多的聊天机器人都是这样基于规则来运行的并且也有很多落地案例,如果你想快速的做一个POC展示,这种基于规则方法还是非常有用的。

方法,对于答案结果的优化还可以使用类beamsearch 的算法提取回答的匹配项。

等等很多

在端到端的深度学习兴起之前,很多的聊天机器人都是这样基于规则来运行的并且也有很多落地案例,如果你想快速的做一个POC展示,这种基于规则方法还是非常有用的。

以上就是python实现基于规则聊天机器人过程示例详解的详细内容,更多关于python实现基于规则聊天机器人的资料请关注三水点靠木其它相关文章!

Python 相关文章推荐
学习python处理python编码问题
Mar 13 Python
Centos5.x下升级python到python2.7版本教程
Feb 14 Python
Python的爬虫程序编写框架Scrapy入门学习教程
Jul 02 Python
python利用微信公众号实现报警功能
Jun 10 Python
详解Python 数据库的Connection、Cursor两大对象
Jun 25 Python
Python 实现异步调用函数的示例讲解
Oct 14 Python
详解Python3注释知识点
Feb 19 Python
python将数组n等分的实例
Dec 02 Python
matplotlib事件处理基础(事件绑定、事件属性)
Feb 03 Python
正确的理解和使用Django信号(Signals)
Apr 14 Python
教你如何用python开发一款数字推盘小游戏
Apr 14 Python
python 办公自动化——基于pyqt5和openpyxl统计符合要求的名单
May 25 Python
Python中Numpy和Matplotlib的基本使用指南
python模块与C和C++动态库相互调用实现过程示例
Nov 02 #Python
Qt自定义Plot实现曲线绘制的详细过程
Nov 02 #Python
Python 正则模块详情
Nov 02 #Python
Python 数据可视化之Bokeh详解
Nov 02 #Python
Python 数据可视化之Matplotlib详解
分位数回归模型quantile regeression应用详解及示例教程
You might like
收听困难?教您超简便短波广播抗干扰方法!
2021/03/01 无线电
PHP 上传文件的方法(类)
2009/07/30 PHP
PHP 翻页 实例代码
2009/08/07 PHP
PHP将二维数组某一个字段相同的数组合并起来的方法
2016/02/26 PHP
Laravel 创建可以传递参数 Console服务的例子
2019/10/14 PHP
js压缩利器
2007/02/20 Javascript
JavaScript模板入门介绍
2012/09/26 Javascript
基于jQuery实现仿微博发布框字数提示
2016/07/27 Javascript
关于验证码在IE中不刷新的快速解决方法
2016/09/23 Javascript
js获取css的各种样式并且设置他们的方法
2017/08/22 Javascript
Vue中自定义全局组件的实现方法
2017/12/08 Javascript
vue 2.8.2版本配置刚进入时候的默认页面方法
2018/09/21 Javascript
vue $router和$route的区别详解
2020/12/02 Vue.js
[04:50]2019DOTA2高校联赛秋季赛四强集锦
2019/12/27 DOTA
[06:48]DOTA2-DPC中国联赛2月26日Recap集锦
2021/03/11 DOTA
python3模拟百度登录并实现百度贴吧签到示例分享(百度贴吧自动签到)
2014/02/24 Python
python实现连续图文识别
2018/12/18 Python
对DJango视图(views)和模版(templates)的使用详解
2019/07/17 Python
Python函数的默认参数设计示例详解
2019/12/01 Python
使用keras实现Precise, Recall, F1-socre方式
2020/06/15 Python
css3 边框、背景、文本效果的实现代码
2018/03/21 HTML / CSS
HTML5 body设置自适应全屏
2020/05/07 HTML / CSS
Rosetta Stone官方网站:语言学习
2019/01/05 全球购物
New Balance俄罗斯官方网上商店:购买运动鞋
2020/03/02 全球购物
Lookfantastic澳大利亚官网:英国知名美妆购物网站
2021/01/07 全球购物
海量信息软件测试笔试题
2015/08/08 面试题
应聘护士自荐信
2013/10/21 职场文书
期末自我鉴定
2014/02/02 职场文书
高中英语演讲稿范文
2014/04/24 职场文书
最常使用的求职信
2014/05/25 职场文书
经理任命书模板
2014/06/06 职场文书
2014最新离职证明范本
2014/09/12 职场文书
党员批评与自我批评总结
2014/10/15 职场文书
2014年餐厅服务员工作总结
2014/11/18 职场文书
大学生党员自我评价
2015/03/04 职场文书
教师师德工作总结2015
2015/07/22 职场文书