神经网络相关之基础概念的讲解


Posted in Python onDecember 29, 2018

人工神经网络需要一定的数学基础,但是一般来说比较简单,简单的高数基础即可,这里整理了一些所需要的最基础的概念的理解,对于神经网络的入门,非常基础和重要,而且理解了之后,会发现介绍不需要在看,磨刀不误砍柴工,强烈建议理解清楚之后在去使用诸如tensorflow这样的利器。

自变量/因变量/函数

因为E文文档的阅读时不可避免的接触这些内容,一般将英文也列出来,尽量记住,阅读时会大大提高速度。

神经网络相关之基础概念的讲解

导数

作为高数最为基础的导数概念,这里不在赘述,简单烈一下内容能够大体理解即可, 借用一张图形来进行解释: 

神经网络相关之基础概念的讲解

神经网络相关之基础概念的讲解

基本概念

导数/偏导数/方向导数/梯度,这四个概念无比重要,无比理解,简单整理如下,比如在理解BP算法有所困难时请以此四概念为中心重新学习相关部分高数内容。

神经网络相关之基础概念的讲解

为何线性分类模型无法处理异或问题

异或是计算机中非常简单的操作,而诸如感知机这样的线性模型则无法解决异或问题的分类。严格的证明可以参看Minsky的文章。

简单地来看,根据结果进行分类,可以分为两类(0/1),但是如果显示在一个平面上,你会发现无法找到一条直线将这两类结果直接分开,所以可以直观地看出是线性分类模型连异或这种简单的分类都无法解决。

而这个悲伤的观点,早在1969年Minsky就曾经在著名的Perceptron中已经被详细地证明了,从而带来了后来人工智能长达10年左右的冰冻期。这个问题并非无解,使用两层的感知机即可解决这种问题,但是Minsky认为,这将会带来巨大的计算量而且没有有效的学习算法,直到诸如BP等算法的出现。1986年,Rumelhart,Geoffrey Hinton和Ronald Williams所发表的Learning representations by back-propagating errors一文中引入了BP算法到神经网络模型之中,通过在神经网络中添加隐含层,同时将误差进行反向传播,将纠错的运算量下降到仅和神经元数目成正比的程度,解决了感知机的异或分类问题,同时为多层感知机的模型提供了学习算法。

回归分析

在算法的入门时会学习使用线性回归和逻辑回归等,所以需要对回归分析有一定的了解。回归分析研究的是因变量和自变量之间的关系,在预测模型中被广泛地应用。自变量的个数/因变量的类型/回归线的形状都是需要考虑的,常见的回归分析方式如下:

  • Linear Regression:线性回归
  • Logistic Regression:逻辑回归
  • Polynomial Regression:多项式回归
  • Lasso Regression:套索回归
  • ElasticNet Regression:ElasticNet回归

详细可参看:

https://www.analyticsvidhya.com/blog/2015/08/comprehensive-guide-regression/

小结

时至今日,1986年所提出的应用与多层神经网络的误差反向传播的BP算法仍在活跃,虽然人工智能非常火热,但是冷饭热炒的嫌疑仍然存在。在1969年Minsky先生随手提出的线性感知机模型无法解决异或分类以及多层模型所需要的巨大计算量的问题在将近五十年的时间才有了一点突破。

总结

以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作具有一定的参考学习价值,谢谢大家对三水点靠木的支持。如果你想了解更多相关内容请查看下面相关链接

Python 相关文章推荐
尝试使用Python多线程抓取代理服务器IP地址的示例
Nov 09 Python
学习python之编写简单乘法口诀表实现代码
Feb 27 Python
Python编程实现二分法和牛顿迭代法求平方根代码
Dec 04 Python
用python制作游戏外挂
Jan 04 Python
浅谈pandas中Dataframe的查询方法([], loc, iloc, at, iat, ix)
Apr 10 Python
python安装numpy和pandas的方法步骤
May 27 Python
python 实现查找文件并输出满足某一条件的数据项方法
Jun 12 Python
Python测试线程应用程序过程解析
Dec 31 Python
Python进程间通信multiprocess代码实例
Mar 18 Python
详解python内置模块urllib
Sep 09 Python
Python脚本调试工具安装过程
Jan 11 Python
详解win10下pytorch-gpu安装以及CUDA详细安装过程
Jan 28 Python
Python实现的KMeans聚类算法实例分析
Dec 29 #Python
Python使用pyshp库读取shapefile信息的方法
Dec 29 #Python
Python实现的线性回归算法示例【附csv文件下载】
Dec 29 #Python
Python 确定多项式拟合/回归的阶数实例
Dec 29 #Python
Python 普通最小二乘法(OLS)进行多项式拟合的方法
Dec 29 #Python
Python实现高斯函数的三维显示方法
Dec 29 #Python
Python3 SSH远程连接服务器的方法示例
Dec 29 #Python
You might like
Protoss建筑一览
2020/03/14 星际争霸
php实现的发送带附件邮件类实例
2014/09/22 PHP
PHP遍历数组的方法汇总
2015/04/30 PHP
php mysql PDO 查询操作的实例详解
2017/09/23 PHP
JS 自定义函数缺省值的设置方法
2010/05/05 Javascript
Javascript 面向对象 对象(Object)
2010/05/13 Javascript
Ajax执行顺序流程及回调问题分析
2012/12/10 Javascript
JS实现网页右侧带动画效果的伸缩窗口代码
2015/10/29 Javascript
Vue.2.0.5实现Class 与 Style 绑定的实例
2017/06/20 Javascript
Node.js利用js-xlsx处理Excel文件的方法详解
2017/07/05 Javascript
微信小程序实现animation动画
2018/01/26 Javascript
js的继承方法小结(prototype、call、apply)(推荐)
2019/04/17 Javascript
实例分析JS中的相等性判断===、 ==和Object.is()
2019/11/17 Javascript
js实现飞机大战游戏
2020/08/26 Javascript
js实现简单的随机点名器
2020/09/17 Javascript
Python最火、R极具潜力 2017机器学习调查报告
2017/12/11 Python
Python针对给定列表中元素进行翻转操作的方法分析
2018/04/27 Python
django之使用celery-把耗时程序放到celery里面执行的方法
2019/07/12 Python
Pandas中DataFrame的分组/分割/合并的实现
2019/07/16 Python
Pytest单元测试框架如何实现参数化
2020/09/05 Python
Python利用imshow制作自定义渐变填充柱状图(colorbar)
2020/12/10 Python
英国Iceland杂货店:网上食品购物
2020/12/16 全球购物
大学生最常用的自我评价
2013/12/07 职场文书
网络专业学生个人的自我评价
2013/12/16 职场文书
新驾驶员个人自我评价
2014/01/03 职场文书
2014年元旦联欢会活动策划方案
2014/02/16 职场文书
商务英语广告词大全
2014/03/18 职场文书
区域销售主管岗位职责
2014/06/15 职场文书
销售人员求职信
2014/07/22 职场文书
付款证明格式范文
2015/06/19 职场文书
工作态度怎么写
2015/06/25 职场文书
送给客户微信问候语!
2019/07/04 职场文书
年终奖金发放管理制度,中小企业适用,拿去救急吧!
2019/07/12 职场文书
pytorch实现线性回归以及多元回归
2021/04/11 Python
基于Python编写简易版的天天跑酷游戏的示例代码
2022/03/23 Python
mapstruct的用法之qualifiedByName示例详解
2022/04/06 Java/Android