神经网络相关之基础概念的讲解


Posted in Python onDecember 29, 2018

人工神经网络需要一定的数学基础,但是一般来说比较简单,简单的高数基础即可,这里整理了一些所需要的最基础的概念的理解,对于神经网络的入门,非常基础和重要,而且理解了之后,会发现介绍不需要在看,磨刀不误砍柴工,强烈建议理解清楚之后在去使用诸如tensorflow这样的利器。

自变量/因变量/函数

因为E文文档的阅读时不可避免的接触这些内容,一般将英文也列出来,尽量记住,阅读时会大大提高速度。

神经网络相关之基础概念的讲解

导数

作为高数最为基础的导数概念,这里不在赘述,简单烈一下内容能够大体理解即可, 借用一张图形来进行解释: 

神经网络相关之基础概念的讲解

神经网络相关之基础概念的讲解

基本概念

导数/偏导数/方向导数/梯度,这四个概念无比重要,无比理解,简单整理如下,比如在理解BP算法有所困难时请以此四概念为中心重新学习相关部分高数内容。

神经网络相关之基础概念的讲解

为何线性分类模型无法处理异或问题

异或是计算机中非常简单的操作,而诸如感知机这样的线性模型则无法解决异或问题的分类。严格的证明可以参看Minsky的文章。

简单地来看,根据结果进行分类,可以分为两类(0/1),但是如果显示在一个平面上,你会发现无法找到一条直线将这两类结果直接分开,所以可以直观地看出是线性分类模型连异或这种简单的分类都无法解决。

而这个悲伤的观点,早在1969年Minsky就曾经在著名的Perceptron中已经被详细地证明了,从而带来了后来人工智能长达10年左右的冰冻期。这个问题并非无解,使用两层的感知机即可解决这种问题,但是Minsky认为,这将会带来巨大的计算量而且没有有效的学习算法,直到诸如BP等算法的出现。1986年,Rumelhart,Geoffrey Hinton和Ronald Williams所发表的Learning representations by back-propagating errors一文中引入了BP算法到神经网络模型之中,通过在神经网络中添加隐含层,同时将误差进行反向传播,将纠错的运算量下降到仅和神经元数目成正比的程度,解决了感知机的异或分类问题,同时为多层感知机的模型提供了学习算法。

回归分析

在算法的入门时会学习使用线性回归和逻辑回归等,所以需要对回归分析有一定的了解。回归分析研究的是因变量和自变量之间的关系,在预测模型中被广泛地应用。自变量的个数/因变量的类型/回归线的形状都是需要考虑的,常见的回归分析方式如下:

  • Linear Regression:线性回归
  • Logistic Regression:逻辑回归
  • Polynomial Regression:多项式回归
  • Lasso Regression:套索回归
  • ElasticNet Regression:ElasticNet回归

详细可参看:

https://www.analyticsvidhya.com/blog/2015/08/comprehensive-guide-regression/

小结

时至今日,1986年所提出的应用与多层神经网络的误差反向传播的BP算法仍在活跃,虽然人工智能非常火热,但是冷饭热炒的嫌疑仍然存在。在1969年Minsky先生随手提出的线性感知机模型无法解决异或分类以及多层模型所需要的巨大计算量的问题在将近五十年的时间才有了一点突破。

总结

以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作具有一定的参考学习价值,谢谢大家对三水点靠木的支持。如果你想了解更多相关内容请查看下面相关链接

Python 相关文章推荐
linux平台使用Python制作BT种子并获取BT种子信息的方法
Jan 20 Python
python中实现指定时间调用函数示例代码
Sep 08 Python
Python入门之三角函数atan2()函数详解
Nov 08 Python
Python cookbook(数据结构与算法)对切片命名清除索引的方法
Mar 13 Python
Pandas标记删除重复记录的方法
Apr 08 Python
Python文件读写保存操作的示例代码
Sep 14 Python
python中使用zip函数出现错误的原因
Sep 28 Python
解决Python 使用h5py加载文件,看不到keys()的问题
Feb 08 Python
如何基于python对接钉钉并获取access_token
Apr 21 Python
python super()函数的基本使用
Sep 10 Python
Python django框架 web端视频加密的实例详解
Nov 20 Python
Python3中最常用的5种线程锁实例总结
Jul 07 Python
Python实现的KMeans聚类算法实例分析
Dec 29 #Python
Python使用pyshp库读取shapefile信息的方法
Dec 29 #Python
Python实现的线性回归算法示例【附csv文件下载】
Dec 29 #Python
Python 确定多项式拟合/回归的阶数实例
Dec 29 #Python
Python 普通最小二乘法(OLS)进行多项式拟合的方法
Dec 29 #Python
Python实现高斯函数的三维显示方法
Dec 29 #Python
Python3 SSH远程连接服务器的方法示例
Dec 29 #Python
You might like
十天学会php之第四天
2006/10/09 PHP
php上传图片到指定位置路径保存到数据库的具体实现
2013/12/30 PHP
php+mysql删除指定编号员工信息的方法
2015/01/14 PHP
Zend Framework教程之资源(Resources)用法实例详解
2016/03/14 PHP
TP5框架使用QueryList采集框架爬小说操作示例
2020/03/26 PHP
关于js获取radio和select的属性并控制的代码
2011/05/12 Javascript
jQuery插件实现多级联动菜单效果
2015/12/01 Javascript
设置点击文本框或图片弹出日历控件的实现代码
2016/05/12 Javascript
JavaScript地理位置信息API
2016/06/11 Javascript
使用UrlConnection实现后台模拟http请求的简单实例
2017/01/04 Javascript
jquery 实现复选框的全选操作实例代码
2017/01/24 Javascript
微信公众号菜单配置微信小程序实例详解
2017/03/31 Javascript
nodejs批量下载图片的实现方法
2017/05/19 NodeJs
vue-cli+webpack在生成的项目中使用bootstrap实例代码
2017/05/26 Javascript
详谈ES6中的迭代器(Iterator)和生成器(Generator)
2017/07/31 Javascript
vue-router2.0 组件之间传参及获取动态参数的方法
2017/11/10 Javascript
JS和JQuery实现雪花飘落效果
2017/11/30 jQuery
Angular实现点击按钮后在上方显示输入内容的方法
2017/12/27 Javascript
element ui table 增加筛选的方法示例
2018/11/02 Javascript
JS原形与原型链深入详解
2020/05/09 Javascript
python实现批量获取指定文件夹下的所有文件的厂商信息
2014/09/28 Python
Python数据类型详解(四)字典:dict
2016/05/12 Python
redis之django-redis的简单缓存使用
2018/06/07 Python
Python处理mysql特殊字符的问题
2020/03/02 Python
Windows下Anaconda安装、换源与更新的方法
2020/04/17 Python
Pycharm激活方法及详细教程(详细且实用)
2020/05/12 Python
Python调用ffmpeg开源视频处理库,批量处理视频
2020/11/16 Python
css3 2D图片转动样式可以扩充到Js当中
2014/04/29 HTML / CSS
您附近的水疗和健康场所:Spafinder(美国)
2019/07/05 全球购物
市场营销专业推荐信
2013/11/03 职场文书
拖鞋店创业计划书
2014/01/15 职场文书
留学推荐信写作指南
2014/01/25 职场文书
《云雀的心愿》教学反思
2014/02/25 职场文书
个人查摆问题整改措施
2014/10/04 职场文书
转学证明范本
2015/06/19 职场文书
入伍志愿书怎么写?
2019/07/19 职场文书