神经网络相关之基础概念的讲解


Posted in Python onDecember 29, 2018

人工神经网络需要一定的数学基础,但是一般来说比较简单,简单的高数基础即可,这里整理了一些所需要的最基础的概念的理解,对于神经网络的入门,非常基础和重要,而且理解了之后,会发现介绍不需要在看,磨刀不误砍柴工,强烈建议理解清楚之后在去使用诸如tensorflow这样的利器。

自变量/因变量/函数

因为E文文档的阅读时不可避免的接触这些内容,一般将英文也列出来,尽量记住,阅读时会大大提高速度。

神经网络相关之基础概念的讲解

导数

作为高数最为基础的导数概念,这里不在赘述,简单烈一下内容能够大体理解即可, 借用一张图形来进行解释: 

神经网络相关之基础概念的讲解

神经网络相关之基础概念的讲解

基本概念

导数/偏导数/方向导数/梯度,这四个概念无比重要,无比理解,简单整理如下,比如在理解BP算法有所困难时请以此四概念为中心重新学习相关部分高数内容。

神经网络相关之基础概念的讲解

为何线性分类模型无法处理异或问题

异或是计算机中非常简单的操作,而诸如感知机这样的线性模型则无法解决异或问题的分类。严格的证明可以参看Minsky的文章。

简单地来看,根据结果进行分类,可以分为两类(0/1),但是如果显示在一个平面上,你会发现无法找到一条直线将这两类结果直接分开,所以可以直观地看出是线性分类模型连异或这种简单的分类都无法解决。

而这个悲伤的观点,早在1969年Minsky就曾经在著名的Perceptron中已经被详细地证明了,从而带来了后来人工智能长达10年左右的冰冻期。这个问题并非无解,使用两层的感知机即可解决这种问题,但是Minsky认为,这将会带来巨大的计算量而且没有有效的学习算法,直到诸如BP等算法的出现。1986年,Rumelhart,Geoffrey Hinton和Ronald Williams所发表的Learning representations by back-propagating errors一文中引入了BP算法到神经网络模型之中,通过在神经网络中添加隐含层,同时将误差进行反向传播,将纠错的运算量下降到仅和神经元数目成正比的程度,解决了感知机的异或分类问题,同时为多层感知机的模型提供了学习算法。

回归分析

在算法的入门时会学习使用线性回归和逻辑回归等,所以需要对回归分析有一定的了解。回归分析研究的是因变量和自变量之间的关系,在预测模型中被广泛地应用。自变量的个数/因变量的类型/回归线的形状都是需要考虑的,常见的回归分析方式如下:

  • Linear Regression:线性回归
  • Logistic Regression:逻辑回归
  • Polynomial Regression:多项式回归
  • Lasso Regression:套索回归
  • ElasticNet Regression:ElasticNet回归

详细可参看:

https://www.analyticsvidhya.com/blog/2015/08/comprehensive-guide-regression/

小结

时至今日,1986年所提出的应用与多层神经网络的误差反向传播的BP算法仍在活跃,虽然人工智能非常火热,但是冷饭热炒的嫌疑仍然存在。在1969年Minsky先生随手提出的线性感知机模型无法解决异或分类以及多层模型所需要的巨大计算量的问题在将近五十年的时间才有了一点突破。

总结

以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作具有一定的参考学习价值,谢谢大家对三水点靠木的支持。如果你想了解更多相关内容请查看下面相关链接

Python 相关文章推荐
Python中的choice()方法使用详解
May 15 Python
python中循环语句while用法实例
May 16 Python
python 列表转为字典的两个小方法(小结)
Jun 28 Python
Python实现的企业粉丝抽奖功能示例
Jul 26 Python
使用Python给头像戴上圣诞帽的图像操作过程解析
Sep 20 Python
matplotlib.pyplot画图并导出保存的实例
Dec 07 Python
如何基于Python实现数字类型转换
Feb 07 Python
python数字类型math库原理解析
Mar 02 Python
python,Java,JavaScript实现indexOf
Sep 09 Python
用python写PDF转换器的实现
Oct 29 Python
PyCharm+Miniconda3安装配置教程详解
Feb 16 Python
Python基础学习之奇异的GUI对话框
May 27 Python
Python实现的KMeans聚类算法实例分析
Dec 29 #Python
Python使用pyshp库读取shapefile信息的方法
Dec 29 #Python
Python实现的线性回归算法示例【附csv文件下载】
Dec 29 #Python
Python 确定多项式拟合/回归的阶数实例
Dec 29 #Python
Python 普通最小二乘法(OLS)进行多项式拟合的方法
Dec 29 #Python
Python实现高斯函数的三维显示方法
Dec 29 #Python
Python3 SSH远程连接服务器的方法示例
Dec 29 #Python
You might like
php数字转汉字代码(算法)
2011/10/08 PHP
ThinkPHP3.1新特性之查询条件预处理简介
2014/06/19 PHP
destoon会员注册提示“数据校验失败(2)”解决方法
2014/06/21 PHP
php实现与erlang的二进制通讯实例解析
2014/07/23 PHP
thinkphp5.0整合phpsocketio完整攻略(绕坑)
2018/10/12 PHP
php实现将数组或对象写入到文件的方法小结【三种方法】
2020/04/22 PHP
基于PHP实现生成随机水印图片
2020/12/09 PHP
JavaScript创建命名空间(namespace)的最简实现
2007/12/11 Javascript
JS 分号引起的一段调试问题
2009/06/18 Javascript
jquery 学习之二 属性(html()与html(val))
2010/11/25 Javascript
JavaScript 类型的包装对象(Typed Wrappers)
2011/10/27 Javascript
jquery插件制作简单示例说明
2012/02/03 Javascript
完美解决AJAX跨域问题
2013/11/01 Javascript
jquery下拉select控件操作方法分享(jquery操作select)
2014/03/25 Javascript
jquery 显示*天*时*分*秒实现时间计时器
2014/05/07 Javascript
使用JQuery实现的分页插件分享
2015/11/05 Javascript
js检查是否关闭浏览器的方法
2016/08/02 Javascript
ECMAScript6变量的解构赋值实例详解
2017/09/19 Javascript
详解vue中移动端自适应方案
2019/05/05 Javascript
vue 源码解析之虚拟Dom-render
2019/08/26 Javascript
layui 数据表格 根据值(1=业务,2=机构)显示中文名称示例
2019/10/26 Javascript
理解JavaScript中的对象
2020/08/25 Javascript
[30:51]DOTA2上海特级锦标赛主赛事日 - 3 胜者组第二轮#1Liquid VS MVP.Phx第一局
2016/03/04 DOTA
理解Python中函数的参数
2015/04/27 Python
python使用配置文件过程详解
2019/12/28 Python
解决启动django,浏览器显示“服务器拒绝访问”的问题
2020/05/13 Python
实例讲解使用SVG制作loading加载动画的方法
2016/04/05 HTML / CSS
预订旅游活动、景点和旅游:GetYourGuide
2019/09/29 全球购物
英国排名第一的冲浪店:Ann’s Cottage
2020/06/21 全球购物
自我推荐书
2013/12/04 职场文书
简单的项目建议书模板
2014/03/12 职场文书
微笑服务演讲稿
2014/05/13 职场文书
女生抽烟检讨书
2014/10/05 职场文书
2015年保险公司工作总结
2015/04/24 职场文书
幼儿园食品安全责任书
2015/05/08 职场文书
Java8利用Stream对列表进行去除重复的方法详解
2022/04/14 Java/Android