神经网络相关之基础概念的讲解


Posted in Python onDecember 29, 2018

人工神经网络需要一定的数学基础,但是一般来说比较简单,简单的高数基础即可,这里整理了一些所需要的最基础的概念的理解,对于神经网络的入门,非常基础和重要,而且理解了之后,会发现介绍不需要在看,磨刀不误砍柴工,强烈建议理解清楚之后在去使用诸如tensorflow这样的利器。

自变量/因变量/函数

因为E文文档的阅读时不可避免的接触这些内容,一般将英文也列出来,尽量记住,阅读时会大大提高速度。

神经网络相关之基础概念的讲解

导数

作为高数最为基础的导数概念,这里不在赘述,简单烈一下内容能够大体理解即可, 借用一张图形来进行解释: 

神经网络相关之基础概念的讲解

神经网络相关之基础概念的讲解

基本概念

导数/偏导数/方向导数/梯度,这四个概念无比重要,无比理解,简单整理如下,比如在理解BP算法有所困难时请以此四概念为中心重新学习相关部分高数内容。

神经网络相关之基础概念的讲解

为何线性分类模型无法处理异或问题

异或是计算机中非常简单的操作,而诸如感知机这样的线性模型则无法解决异或问题的分类。严格的证明可以参看Minsky的文章。

简单地来看,根据结果进行分类,可以分为两类(0/1),但是如果显示在一个平面上,你会发现无法找到一条直线将这两类结果直接分开,所以可以直观地看出是线性分类模型连异或这种简单的分类都无法解决。

而这个悲伤的观点,早在1969年Minsky就曾经在著名的Perceptron中已经被详细地证明了,从而带来了后来人工智能长达10年左右的冰冻期。这个问题并非无解,使用两层的感知机即可解决这种问题,但是Minsky认为,这将会带来巨大的计算量而且没有有效的学习算法,直到诸如BP等算法的出现。1986年,Rumelhart,Geoffrey Hinton和Ronald Williams所发表的Learning representations by back-propagating errors一文中引入了BP算法到神经网络模型之中,通过在神经网络中添加隐含层,同时将误差进行反向传播,将纠错的运算量下降到仅和神经元数目成正比的程度,解决了感知机的异或分类问题,同时为多层感知机的模型提供了学习算法。

回归分析

在算法的入门时会学习使用线性回归和逻辑回归等,所以需要对回归分析有一定的了解。回归分析研究的是因变量和自变量之间的关系,在预测模型中被广泛地应用。自变量的个数/因变量的类型/回归线的形状都是需要考虑的,常见的回归分析方式如下:

  • Linear Regression:线性回归
  • Logistic Regression:逻辑回归
  • Polynomial Regression:多项式回归
  • Lasso Regression:套索回归
  • ElasticNet Regression:ElasticNet回归

详细可参看:

https://www.analyticsvidhya.com/blog/2015/08/comprehensive-guide-regression/

小结

时至今日,1986年所提出的应用与多层神经网络的误差反向传播的BP算法仍在活跃,虽然人工智能非常火热,但是冷饭热炒的嫌疑仍然存在。在1969年Minsky先生随手提出的线性感知机模型无法解决异或分类以及多层模型所需要的巨大计算量的问题在将近五十年的时间才有了一点突破。

总结

以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作具有一定的参考学习价值,谢谢大家对三水点靠木的支持。如果你想了解更多相关内容请查看下面相关链接

Python 相关文章推荐
在Python中操作列表之list.extend()方法的使用
May 20 Python
Tensorflow实现卷积神经网络用于人脸关键点识别
Mar 05 Python
Linux(Redhat)安装python3.6虚拟环境(推荐)
May 05 Python
python使用tornado实现登录和登出
Jul 28 Python
使用python实现快速搭建简易的FTP服务器
Sep 12 Python
我用Python抓取了7000 多本电子书案例详解
Mar 25 Python
详解Python计算机视觉 图像扭曲(仿射扭曲)
Mar 27 Python
详解Python3除法之真除法、截断除法和下取整对比
May 23 Python
python tkinter GUI绘制,以及点击更新显示图片代码
Mar 14 Python
python操作yaml说明
Apr 08 Python
pycharm 2020 1.1的安装流程
Sep 29 Python
python 实现音频叠加的示例
Oct 29 Python
Python实现的KMeans聚类算法实例分析
Dec 29 #Python
Python使用pyshp库读取shapefile信息的方法
Dec 29 #Python
Python实现的线性回归算法示例【附csv文件下载】
Dec 29 #Python
Python 确定多项式拟合/回归的阶数实例
Dec 29 #Python
Python 普通最小二乘法(OLS)进行多项式拟合的方法
Dec 29 #Python
Python实现高斯函数的三维显示方法
Dec 29 #Python
Python3 SSH远程连接服务器的方法示例
Dec 29 #Python
You might like
分割GBK中文遭遇乱码的解决方法
2013/08/09 PHP
PHP实例分享判断客户端是否使用代理服务器及其匿名级别
2014/06/04 PHP
PHP mysqli事务操作常用方法分析
2017/07/22 PHP
thinkPHP框架动态配置用法实例分析
2018/06/14 PHP
PHP设计模式之数据访问对象模式(DAO)原理与用法实例分析
2019/12/12 PHP
JSON 学习之完全手册 图文
2007/05/29 Javascript
javascript 建设银行登陆键盘
2008/06/10 Javascript
js控制CSS样式属性语法对照表
2012/12/11 Javascript
javascript 三种方法实现获得和设置以及移除元素属性
2013/03/20 Javascript
JavaScript函数使用的基本教程
2015/06/04 Javascript
jQuery实现类似标签风格的导航菜单效果代码
2015/08/25 Javascript
跟我学习javascript的垃圾回收机制与内存管理
2015/11/23 Javascript
基于JQuery的购物车添加删除以及结算功能示例
2017/03/08 Javascript
微信小程序 实例开发总结
2017/04/26 Javascript
vue-cli项目中使用Mockjs详解
2018/05/14 Javascript
浅谈layui框架自带分页和表格重载的接口解析问题
2019/09/11 Javascript
vue 中固定导航栏的实例代码
2019/11/01 Javascript
[01:07]2015国际邀请赛 中国区预选赛精彩回顾
2015/06/15 DOTA
python教程之用py2exe将PY文件转成EXE文件
2014/06/12 Python
详解Django中的form库的使用
2015/07/18 Python
Python矩阵常见运算操作实例总结
2017/09/29 Python
快速了解Python相对导入
2018/01/12 Python
python日期与时间戳的各种转换示例
2020/02/12 Python
python递归调用中的坑:打印有值, 返回却None
2020/03/16 Python
python 实现网易邮箱邮件阅读和删除的辅助小脚本
2021/03/01 Python
澳大利亚买卖正宗二手奢侈品交易平台:Luxe.It.Fwd
2019/10/16 全球购物
MYSQL支持事务吗
2013/08/09 面试题
计算机网络毕业生自荐信
2013/10/01 职场文书
工程承包协议书
2014/04/22 职场文书
项目建议书怎么写
2014/05/15 职场文书
九一八事变演讲稿
2014/09/05 职场文书
2014领导班子四风问题对照检查材料思想汇报
2014/09/21 职场文书
廉洁自律承诺书2015
2015/01/22 职场文书
2015年上半年物业工作总结
2015/03/30 职场文书
学生病假条范文
2015/08/17 职场文书
JS前端使用canvas实现物体的点选示例
2022/08/05 Javascript