python机器学习创建基于规则聊天机器人过程示例详解


Posted in Python onNovember 02, 2021

还记得这个价值一个亿的AI核心代码?

python机器学习创建基于规则聊天机器人过程示例详解

while True:
    AI = input('我:')
    print(AI.replace("吗", " ").replace('?','!').replace('?','!'))

以上这段代码就是我们今天的主题,基于规则的聊天机器人

聊天机器人

聊天机器人本身是一种机器或软件,它通过文本或句子模仿人类交互。 简而言之,可以使用类似于与人类对话的软件进行聊天。

为什么要尝试创建聊天机器人? 也许你对一个新项目感兴趣,或者公司需要一个,或者想去拉投资。 无论动机是什么,本文都将尝试解释如何创建一个简单的基于规则的聊天机器人。

基于规则的聊天机器人

什么是基于规则的聊天机器人?它是一种基于特定规则来回答人类给出的文本的聊天机器人。由于它基于强加的规则所以这个聊天机器人生成的响应几乎是准确的;但是,如果我们收到与规则不匹配的查询,聊天机器人将不会回答。与它相对的另一个版本是基于模型的聊天机器人,它通过机器学习模型来回答给定的查询。(二者的区别就是基于规则的需要我们指定每一条规则,而且基于模型的会通过训练模型自动生成规则,还记得我们上一篇的”机器学习介绍“吗,“机器学习为系统提供无需明确编程就能根据经验自动学习和改进的能力。”)

基于规则的聊天机器人可能基于人类给出的规则,但这并不意味着我们不使用数据集。聊天机器人的主要目标仍然是自动化人类提出的问题,所以我们还是需要数据来制定特定的规则。

在本文中,我们将利用余弦相似距离作为基础开发基于规则的聊天机器人。余弦相似度是向量(特别是内积空间的非零向量)之间的相似度度量,常用于度量两个文本之间的相似度。

我们将使用余弦相似度创建一个聊天机器人,通过对比查询与我们开发的语料库之间的相似性来回答查询提出的问题。这也是我们最初需要开发我们的语料库的原因。

创建语料库

对于这个聊天机器人示例,我想创建一个聊天机器人来回答有关猫的所有问题。 为了收集关于猫的数据,我会从网上抓取它。

import bs4 as bs
import urllib.request#Open the cat web data page
cat_data = urllib.request.urlopen('https://simple.wikipedia.org/wiki/Cat').read()
#Find all the paragraph html from the web page
cat_data_paragraphs  = bs.BeautifulSoup(cat_data,'lxml').find_all('p')
#Creating the corpus of all the web page paragraphs
cat_text = ''
#Creating lower text corpus of cat paragraphs
for p in cat_data_paragraphs:
    cat_text += p.text.lower()
print(cat_text)

python机器学习创建基于规则聊天机器人过程示例详解

使用上面的代码,会得到来自wikipedia页面的段落集合。 接下来,需要清理文本以去除括号编号和空格等无用的文本。

import re
cat_text = re.sub(r'\s+', ' ',re.sub(r'\[[0-9]*\]', ' ', cat_text))

上述代码将从语料库中删除括号号。我特意没有去掉这些符号和标点符号,因为当与聊天机器人进行对话时,这样听起来会很自然。

最后,我将根据之前创建的语料库创建一个句子列表。

import nltk
cat_sentences = nltk.sent_tokenize(cat_text)

python机器学习创建基于规则聊天机器人过程示例详解

我们的规则很简单:将聊天机器人的查询文本与句子列表中的每一个文本之间的进行余弦相似性的度量,哪个结果产生的相似度最接近(最高余弦相似度)那么它就是我们的聊天机器人的答案。

创建一个聊天机器人

我们上面的语料库仍然是文本形式,余弦相似度不接受文本数据;所以需要将语料库转换成数字向量。通常的做法是将文本转换为词袋(单词计数)或使用TF-IDF方法(频率概率)。在我们的例子中,我们将使用TF-IDF。

我将创建一个函数,它接收查询文本,并根据以下代码中的余弦相似性给出一个输出。

让我们看一下代码。

from sklearn.metrics.pairwise import cosine_similarity
from sklearn.feature_extraction.text import TfidfVectorizer
def chatbot_answer(user_query):
    
    #Append the query to the sentences list
    cat_sentences.append(user_query)    
    #Create the sentences vector based on the list
    vectorizer = TfidfVectorizer()
    sentences_vectors = vectorizer.fit_transform(cat_sentences)
    
    #Measure the cosine similarity and take the second closest index because the first index is the user query
    vector_values = cosine_similarity(sentences_vectors[-1], sentences_vectors)
    answer = cat_sentences[vector_values.argsort()[0][-2]]    
    #Final check to make sure there are result present. If all the result are 0, means the text input by us are not captured in the corpus
    input_check = vector_values.flatten()
    input_check.sort()
    
    if input_check[-2] == 0:
        return "Please Try again"
    else: 
        return answer

我们可以把上面的函数使用下面的流程图进行表示:

python机器学习创建基于规则聊天机器人过程示例详解

最后,使用以下代码创建一个简单的回答交互。

print("Hello, I am the Cat Chatbot. What is your meow questions?:")
while(True):
    query = input().lower()
    if query not in ['bye', 'good bye', 'take care']:
        print("Cat Chatbot: ", end="")
        print(chatbot_answer(query))
        cat_sentences.remove(query)
    else:
        print("See You Again")
        break

上面的脚本将接收查询,并通过我们之前开发的聊天机器人处理它们。

python机器学习创建基于规则聊天机器人过程示例详解

从上面的图片中看到的,结果还是可以接受的,但有也有些奇怪的回答。但是我们要想到,目前只从一个数据源中得到的结果,并且也没有做任何的优化。如果我们用额外的数据集和规则来改进它,它肯定会更好地回答问题。

总结

聊天机器人项目是一个令人兴奋的数据科学项目,因为它在许多领域都有帮助。在本文中,我们使用从网页中获取的数据,利用余弦相似度和TF-IDF,用Python创建了一个简单的聊天机器人项目,真正的将我们的1个亿的项目落地。其实这里面还有很多的改进:

向量化的选择,除了TF-IDF还可以使用word2vec,甚至使用预训练的bert提取词向量。

回答环节,其实就是通过某种特定的算法或者规则从我们的语料库中搜索最匹配的答案,本文中使用的相似度top1的方法其实就是一个最简单的类greedsearch的方法,对于答案结果的优化还可以使用类beamsearch 的算法提取回答的匹配项。

等等很多

在端到端的深度学习兴起之前,很多的聊天机器人都是这样基于规则来运行的并且也有很多落地案例,如果你想快速的做一个POC展示,这种基于规则方法还是非常有用的。

方法,对于答案结果的优化还可以使用类beamsearch 的算法提取回答的匹配项。

等等很多

在端到端的深度学习兴起之前,很多的聊天机器人都是这样基于规则来运行的并且也有很多落地案例,如果你想快速的做一个POC展示,这种基于规则方法还是非常有用的。

以上就是python实现基于规则聊天机器人过程示例详解的详细内容,更多关于python实现基于规则聊天机器人的资料请关注三水点靠木其它相关文章!

Python 相关文章推荐
详解python3中socket套接字的编码问题解决
Jul 01 Python
centos6.4下python3.6.1安装教程
Jul 21 Python
基于Python实现的ID3决策树功能示例
Jan 02 Python
Python3实现的画图及加载图片动画效果示例
Jan 19 Python
Python中的枚举类型示例介绍
Jan 09 Python
Python及Pycharm安装方法图文教程
Aug 05 Python
Python 字符串类型列表转换成真正列表类型过程解析
Aug 26 Python
python中几种自动微分库解析
Aug 29 Python
Win系统PyQt5安装和使用教程
Dec 25 Python
Django ORM判断查询结果是否为空,判断django中的orm为空实例
Jul 09 Python
Java byte数组操纵方式代码实例解析
Jul 22 Python
opencv实现图像几何变换
Mar 24 Python
Python中Numpy和Matplotlib的基本使用指南
python模块与C和C++动态库相互调用实现过程示例
Nov 02 #Python
Qt自定义Plot实现曲线绘制的详细过程
Nov 02 #Python
Python 正则模块详情
Nov 02 #Python
Python 数据可视化之Bokeh详解
Nov 02 #Python
Python 数据可视化之Matplotlib详解
分位数回归模型quantile regeression应用详解及示例教程
You might like
PHP中Session引起的脚本阻塞问题解决办法
2014/04/08 PHP
PHP 正则表达式常用函数
2014/08/17 PHP
php实现refresh刷新页面批量导入数据的方法
2014/12/23 PHP
PHP制作百度词典查词采集器
2015/01/29 PHP
php实现文章置顶功能的方法
2016/10/20 PHP
记录一次排查PHP脚本执行卡住的问题
2016/12/27 PHP
jquery checkbox,radio是否选中的判断代码
2010/03/20 Javascript
一个简单的js树形菜单
2011/12/09 Javascript
javascript读写XML实现广告轮换(兼容IE、FF)
2013/08/09 Javascript
查找页面中所有类为test的结点的方法
2014/03/28 Javascript
jquery右下角自动弹出可关闭的广告层
2015/05/08 Javascript
JavaScript中用于四舍五入的Math.round()方法讲解
2015/06/15 Javascript
详解BootStrap中Affix控件的使用及保持布局的美观的方法
2016/07/08 Javascript
bootstrap导航条实现代码
2016/12/28 Javascript
AngularJS实现的select二级联动下拉菜单功能示例
2017/10/25 Javascript
基于JavaScript+HTML5 实现打地鼠小游戏逻辑流程图文详解(附完整代码)
2017/11/02 Javascript
vue-cli随机生成port源码的方法
2019/09/02 Javascript
js 函数性能比较方法
2020/08/24 Javascript
Python 忽略warning的输出方法
2018/10/18 Python
python学习之hook钩子的原理和使用
2018/10/25 Python
手把手教你Python yLab的绘制折线图的画法
2019/10/23 Python
Python函数递归调用实现原理实例解析
2020/08/11 Python
用html5的canvas和JavaScript创建一个绘图程序的简单实例
2016/07/06 HTML / CSS
html5 canvas的绘制文本自动换行的示例代码
2018/09/17 HTML / CSS
澳大利亚在线性感内衣商店:Fantasy Lingerie
2021/02/07 全球购物
中专毕业生的自我鉴定
2013/12/01 职场文书
银行员工职业规划范文
2014/01/21 职场文书
高中历史教学反思
2014/02/08 职场文书
动漫设计与制作专业推荐信
2014/07/07 职场文书
委托书怎么写
2014/07/31 职场文书
优秀班集体申报材料
2014/12/25 职场文书
2019年最新七夕唯美祝福语(60条)
2019/07/22 职场文书
导游词之沈阳清昭陵
2019/12/28 职场文书
Html5页面播放M4a音频文件
2021/03/30 HTML / CSS
Pandas自定义选项option设置
2021/07/25 Python
Python中文分词库jieba(结巴分词)详细使用介绍
2022/04/07 Python