理解深度学习之深度学习简介


Posted in Python onApril 14, 2021

机器学习

在吴恩达老师的课程中,有过对机器学习的定义:

ML:<P T E>

P即performance,T即Task,E即Experience,机器学习是对一个Task,根据Experience,去提升Performance;

在机器学习中,神经网络的地位越来越重要,实践发现,非线性的激活函数有助于神经网络拟合分布,效果明显优于线性分类器:

y=Wx+b

常用激活函数有ReLU,sigmoid,tanh;

sigmoid将值映射到(0,1):

理解深度学习之深度学习简介

tanh会将输入映射到(-1,1)区间:

理解深度学习之深度学习简介

#激活函数tanh
%matplotlib inline
import matplotlib.pyplot as plt
import numpy as np
def tanh(x):
    return (np.exp(x)-np.exp(-x))/(np.exp(x)+np.exp(-x))
X=np.linspace(-5,5,100)
plt.figure(figsize=(8,6))
ax=plt.gca()#get current axis:获取当前坐标系
#将该坐标系的右边缘和上边缘设为透明
ax.spines['right'].set_color('none')
ax.spines['top'].set_color('none')
#设置bottom是x轴
ax.xaxis.set_ticks_position('bottom')
ax.spines['bottom'].set_position(('data',0))
#设置left为y轴
ax.yaxis.set_ticks_position('left')
ax.spines['left'].set_position(('data',0))
ax.plot(X,tanh(X),color='blue',linewidth=1.0,linestyle="-")
plt.show()

理解深度学习之深度学习简介

开源框架

当神经网络层数加深,可以加强捕捉分布的效果,可以简单认为深度学习指深层神经网络的学习;

当前有两大主流的深度学习框架:Pytorch和Tensorflow;

Pytorch支持动态计算图,使用起来更接近Python;

Tensorflow是静态计算图,使用起来就像一门新语言,据说简单易用的keras已经无人维护,合并到tensorflow;

一个深度学习项目的运行流程一般是:

v理解深度学习之深度学习简介

深度学习计算重复且体量巨大,所以需要将模型部署到GPU上,GPU的设计很适合加速深度学习计算,为了便于在GPU上开展深度学习实验,人们开发了CUDA架构,现在大部分DL模型都是基于CUDA加速的

关于CUDA

1.什么是CUDA?

CUDA(ComputeUnified Device Architecture),是显卡厂商NVIDIA推出的运算平台。 CUDA是一种由NVIDIA推出的通用并行计算架构,该架构使GPU能够解决复杂的计算问题。

2.什么是CUDNN?

NVIDIA cuDNN是用于深度神经网络的GPU加速库。它强调性能、易用性和低内存开销。NVIDIA cuDNN可以集成到更高级别的机器学习框架中。

方向概览

当前计算机视觉的发展相对于自然语言处理更加成熟,NLP的训练比CV更耗费资源,CV模型相对较小;

在CV方向:

1.图像分类(ResNet,DenseNet)

  1. 目标检测ObjectDetection
  2. 风格迁移StyleTransfer
  3. CycleGAN:比如图像中马到斑马,也可以从斑马返回马
  4. ImageCaptioning:从图像生成描述文本,一般用CNN获得feature,再输入RNN获得文本

2.在NLP方向

  1. 情感分析:分类影评数据
  2. QuestionAnswering:一段问题->给出答案
  3. Translation:可以用OpenNMT-py,OpenNMT-py是开源的seq->seq模型
  4. ChatBot聊天机器人,基于QuestionAnswering,目前刚起步

另外还有强化学习Deep Reinforcement Learning,从简单的打砖块游戏到著名的阿尔法Go;

以及预训练语言模型:给一段话,让机器继续说下去,比如BERT,GPT2;

迁移学习

在CV中,NN的低层可以提取位置信息(边,角等精细信息),高层提取抽象信息,所以低层的网络可以反复使用,更改高层再训练以适用其他任务

到此这篇关于深度学习简介的文章就结束了,以后还会不断更新深度学习的文章,更多相关深度学习文章请搜索三水点靠木以前的文章或继续浏览下面的相关文章,希望大家以后多多支持三水点靠木!

Python 相关文章推荐
python中正则表达式的使用详解
Oct 17 Python
Python和perl实现批量对目录下电子书文件重命名的代码分享
Nov 21 Python
python互斥锁、加锁、同步机制、异步通信知识总结
Feb 11 Python
python中不能连接超时的问题及解决方法
Jun 10 Python
Django中的Model操作表的实现
Jul 24 Python
使用Python的toolz库开始函数式编程的方法
Nov 15 Python
Python实现深度遍历和广度遍历的方法
Jan 22 Python
python print出共轭复数的方法详解
Jun 25 Python
pycharm中import呈现灰色原因的解决方法
Mar 04 Python
配置python的编程环境之Anaconda + VSCode的教程
Mar 29 Python
python使用hdfs3模块对hdfs进行操作详解
Jun 06 Python
PyTorch device与cuda.device用法
Apr 03 Python
python基于scrapy爬取京东笔记本电脑数据并进行简单处理和分析
深度学习小工程练习之垃圾分类详解
python3美化表格数据输出结果的实现代码
Apr 14 #Python
Python生成九宫格图片的示例代码
用Python写一个简易版弹球游戏
python urllib库的使用详解
Apr 13 #Python
用Python将库打包发布到pypi
You might like
浅析get与post的一些特殊情况
2014/07/28 PHP
php在linux下检测mysql同步状态的方法
2015/01/15 PHP
Ubuntu12下编译安装PHP5.3开发环境
2015/03/27 PHP
PHP入门教程之正则表达式基本用法实例详解(正则匹配,搜索,分割等)
2016/09/11 PHP
详解如何实现Laravel的服务容器的方法示例
2019/04/15 PHP
IE下使用cloneNode注意事项分享
2012/11/22 Javascript
jQuery DOM插入节点操作指南
2015/03/03 Javascript
Vue.js每天必学之指令系统与自定义指令
2016/09/07 Javascript
微信小程序实战之仿android fragment可滑动底部导航栏(4)
2020/04/16 Javascript
vue用addRoutes实现动态路由的示例
2017/09/15 Javascript
关于jQuery里prev()的简单操作代码
2017/10/27 jQuery
Vue 父子组件的数据传递、修改和更新方法
2018/03/01 Javascript
基于js实现数组相邻元素上移下移
2020/05/19 Javascript
Python中的对象,方法,类,实例,函数用法分析
2015/01/15 Python
Python是编译运行的验证方法
2015/01/30 Python
Python中有趣在__call__函数
2015/06/21 Python
python3实现ftp服务功能(客户端)
2017/03/24 Python
详解python OpenCV学习笔记之直方图均衡化
2018/02/08 Python
使用anaconda的pip安装第三方python包的操作步骤
2018/06/11 Python
Django中Q查询及Q()对象 F查询及F()对象用法
2020/07/09 Python
有关HTML5中背景音乐的自动播放功能
2017/10/16 HTML / CSS
加拿大领先的牛仔零售商:Bluenotes
2018/01/22 全球购物
Lancome兰蔻官方旗舰店:来自法国的世界知名美妆品牌
2018/06/14 全球购物
一些Unix笔试题和面试题
2012/09/25 面试题
怎样客观的做好自我评价
2013/12/28 职场文书
计算机专业毕业生自荐信
2013/12/31 职场文书
大学活动邀请函
2014/01/28 职场文书
给校长的建议书500字
2014/05/15 职场文书
讲党性心得体会
2014/09/03 职场文书
财政局党的群众路线教育实践活动整改方案
2014/09/21 职场文书
党员教师个人对照检查材料(群众路线)
2014/09/26 职场文书
农村党建工作汇报材料
2014/10/27 职场文书
婚礼双方父亲致辞
2015/07/27 职场文书
2016年学校招生广告语
2016/01/28 职场文书
Linux中各个目录的作用与内容
2022/06/28 Servers
Python pyecharts案例超市4年数据可视化分析
2022/08/14 Python