理解深度学习之深度学习简介


Posted in Python onApril 14, 2021

机器学习

在吴恩达老师的课程中,有过对机器学习的定义:

ML:<P T E>

P即performance,T即Task,E即Experience,机器学习是对一个Task,根据Experience,去提升Performance;

在机器学习中,神经网络的地位越来越重要,实践发现,非线性的激活函数有助于神经网络拟合分布,效果明显优于线性分类器:

y=Wx+b

常用激活函数有ReLU,sigmoid,tanh;

sigmoid将值映射到(0,1):

理解深度学习之深度学习简介

tanh会将输入映射到(-1,1)区间:

理解深度学习之深度学习简介

#激活函数tanh
%matplotlib inline
import matplotlib.pyplot as plt
import numpy as np
def tanh(x):
    return (np.exp(x)-np.exp(-x))/(np.exp(x)+np.exp(-x))
X=np.linspace(-5,5,100)
plt.figure(figsize=(8,6))
ax=plt.gca()#get current axis:获取当前坐标系
#将该坐标系的右边缘和上边缘设为透明
ax.spines['right'].set_color('none')
ax.spines['top'].set_color('none')
#设置bottom是x轴
ax.xaxis.set_ticks_position('bottom')
ax.spines['bottom'].set_position(('data',0))
#设置left为y轴
ax.yaxis.set_ticks_position('left')
ax.spines['left'].set_position(('data',0))
ax.plot(X,tanh(X),color='blue',linewidth=1.0,linestyle="-")
plt.show()

理解深度学习之深度学习简介

开源框架

当神经网络层数加深,可以加强捕捉分布的效果,可以简单认为深度学习指深层神经网络的学习;

当前有两大主流的深度学习框架:Pytorch和Tensorflow;

Pytorch支持动态计算图,使用起来更接近Python;

Tensorflow是静态计算图,使用起来就像一门新语言,据说简单易用的keras已经无人维护,合并到tensorflow;

一个深度学习项目的运行流程一般是:

v理解深度学习之深度学习简介

深度学习计算重复且体量巨大,所以需要将模型部署到GPU上,GPU的设计很适合加速深度学习计算,为了便于在GPU上开展深度学习实验,人们开发了CUDA架构,现在大部分DL模型都是基于CUDA加速的

关于CUDA

1.什么是CUDA?

CUDA(ComputeUnified Device Architecture),是显卡厂商NVIDIA推出的运算平台。 CUDA是一种由NVIDIA推出的通用并行计算架构,该架构使GPU能够解决复杂的计算问题。

2.什么是CUDNN?

NVIDIA cuDNN是用于深度神经网络的GPU加速库。它强调性能、易用性和低内存开销。NVIDIA cuDNN可以集成到更高级别的机器学习框架中。

方向概览

当前计算机视觉的发展相对于自然语言处理更加成熟,NLP的训练比CV更耗费资源,CV模型相对较小;

在CV方向:

1.图像分类(ResNet,DenseNet)

  1. 目标检测ObjectDetection
  2. 风格迁移StyleTransfer
  3. CycleGAN:比如图像中马到斑马,也可以从斑马返回马
  4. ImageCaptioning:从图像生成描述文本,一般用CNN获得feature,再输入RNN获得文本

2.在NLP方向

  1. 情感分析:分类影评数据
  2. QuestionAnswering:一段问题->给出答案
  3. Translation:可以用OpenNMT-py,OpenNMT-py是开源的seq->seq模型
  4. ChatBot聊天机器人,基于QuestionAnswering,目前刚起步

另外还有强化学习Deep Reinforcement Learning,从简单的打砖块游戏到著名的阿尔法Go;

以及预训练语言模型:给一段话,让机器继续说下去,比如BERT,GPT2;

迁移学习

在CV中,NN的低层可以提取位置信息(边,角等精细信息),高层提取抽象信息,所以低层的网络可以反复使用,更改高层再训练以适用其他任务

到此这篇关于深度学习简介的文章就结束了,以后还会不断更新深度学习的文章,更多相关深度学习文章请搜索三水点靠木以前的文章或继续浏览下面的相关文章,希望大家以后多多支持三水点靠木!

Python 相关文章推荐
Python中使用copy模块实现列表(list)拷贝
Apr 14 Python
深入理解python中的闭包和装饰器
Jun 12 Python
安装Python的教程-Windows
Jul 22 Python
python+matplotlib绘制饼图散点图实例代码
Jan 20 Python
详解PyCharm配置Anaconda的艰难心路历程
Aug 13 Python
Python中的asyncio代码详解
Jun 10 Python
Python调用.NET库的方法步骤
Dec 27 Python
使用Bazel编译TensorBoard教程
Feb 15 Python
一些关于python 装饰器的个人理解
Aug 31 Python
python 实现有道翻译功能
Feb 26 Python
Python Pandas数据分析之iloc和loc的用法详解
Nov 11 Python
分享7个 Python 实战项目练习
Mar 03 Python
python基于scrapy爬取京东笔记本电脑数据并进行简单处理和分析
深度学习小工程练习之垃圾分类详解
python3美化表格数据输出结果的实现代码
Apr 14 #Python
Python生成九宫格图片的示例代码
用Python写一个简易版弹球游戏
python urllib库的使用详解
Apr 13 #Python
用Python将库打包发布到pypi
You might like
ob_start(),ob_start('ob_gzhandler')使用
2006/12/25 PHP
win2003服务器使用WPS的COM组件的一些问题解决方法
2012/01/11 PHP
Thinkphp中volist标签mod控制一定记录的换行BUG解决方法
2014/11/04 PHP
php实现对短信验证码发送次数的限制实例讲解
2021/03/04 PHP
jQuery ctrl+Enter shift+Enter实现代码
2010/02/07 Javascript
基于JQuery的访问WebService的代码(可访问Java[Xfire])
2010/11/19 Javascript
基于jQuery.Validate验证库知识点的详解
2013/04/26 Javascript
jQuery教程 $()包装函数来实现数组元素分页效果
2013/08/13 Javascript
Angular.js回顾ng-app和ng-model使用技巧
2016/04/26 Javascript
JavaScript常用判断写法大全(推荐)
2016/05/30 Javascript
Vue.js 2.0学习教程之从基础到组件详解
2017/04/24 Javascript
详谈js原型继承的一些问题
2017/09/06 Javascript
完美解决手机浏览器顶部下拉出现网页源或刷新的问题
2017/11/30 Javascript
深入理解Angularjs 脏值检测
2018/10/12 Javascript
Vue使用NProgress进度条的方法
2019/09/21 Javascript
vue3为什么要用proxy替代defineProperty
2020/10/19 Javascript
理解Python中的绝对路径和相对路径
2017/08/30 Python
matplotlib绘制动画代码示例
2018/01/02 Python
Python使用numpy模块创建数组操作示例
2018/06/20 Python
opencv3/Python 稠密光流calcOpticalFlowFarneback详解
2019/12/11 Python
Python 实现使用空值进行赋值 None
2020/03/12 Python
pycharm的python_stubs问题
2020/04/08 Python
Python常用扩展插件使用教程解析
2020/11/02 Python
JBL澳大利亚官方商店:扬声器、耳机和音响系统
2018/05/24 全球购物
奥地利度假券的专家:we-are.travel
2019/04/10 全球购物
会计电算化专业毕业生推荐信
2013/12/24 职场文书
开业庆典邀请函
2014/01/08 职场文书
市场营销求职信范文
2014/02/21 职场文书
采购部长岗位职责
2014/06/13 职场文书
社区服务标语
2014/07/01 职场文书
工作证明格式范文
2015/06/15 职场文书
三八节活动主持词
2015/07/04 职场文书
2016年记者节感言
2015/12/08 职场文书
《比的意义》教学反思
2016/02/18 职场文书
介绍信应该怎么开?
2019/04/03 职场文书
使用compose函数优化代码提高可读性及扩展性
2022/06/16 Javascript