当前位置:首页 >> 互联网 >>

主流的深度学习模型有哪些


光环大数据--大数据培训&人工智能培训 http://hadoop.aura-el.com 主流的深度学习模型有哪些_光环大数据培训

0. 前言

深度学习大热以后各种模型层出不穷, 很多朋友都在问到底什么是 DNN、 CNN 和 RNN,这么多个网络到底有什么不同,作用各是什么?

趁着回答:深度学习的主要分类是什么呀?这些网络 cnn dbn dnm rnn 是怎 样的关系?这个问题的机会,我也想介绍一下主流的神经网络模型。因为格式问 题和传播原因,我把原回答内容在这篇文章中再次向大家介绍。

在更详细的介绍各种网络前,首先说明:

大部分神经网络都可以用深度(depth)和连接结构(connection)来定义, 下面会具体情况具体分析。 笼统的说,神经网络也可以分为有监督的神经网络和无/半监督学习, 但其实往往是你中有我我中有你,不必死抠字眼。 有鉴于篇幅,只能粗略的科普一下这些非常相似的网络以及应用场景, 具体的细节无法展开详谈,有机会在专栏中深入解析。

文章中介绍的网络包括:

1. 有监督的神经网络(Supervised Neural Networks)

1.1. 神 经 网 络 (Artificial Neural Networks) 和 深 度 神 经 网 络 (Deep Neural Networks)

光环大数据 http://hadoop.aura-el.com

光环大数据--大数据培训&人工智能培训 http://hadoop.aura-el.com 追根溯源的话,神经网络的基础模型是感知机(Perceptron),因此神经网络 也可以叫做多层感知机(Multi-layer Perceptron),简称 MLP。单层感知机叫做 感知机,多层感知机(MLP) 人工神经网络(ANN)。

那么多层到底是几层?一般来说有 1-2 个隐藏层的神经网络就可以叫做多 层,准确的说是(浅层)神经网络(Shallow Neural Networks)。随着隐藏层的增 多, 更深的神经网络(一般来说超过 5 层)就都叫做深度学习(DNN)。 然而, “深度” 只是一个商业概念,很多时候工业界把 3 层隐藏层也叫做“深度学习” ,所以不 要在层数上太较真。在机器学习领域的约定俗成是,名字中有深度(Deep)的网络 仅代表其有超过 5-7 层的隐藏层。

神经网络的结构指的是“神经元”之间如何连接,它可以是任意深度。以下 图的 3 种不同结构为例,我们可以看到连接结构是非常灵活多样的。

图片来源:10 Misconceptions about Neural Networks

需要特别指出的是,卷积网络(CNN)和循环网络(RNN)一般不加 Deep 在名字 中的原因是:它们的结构一般都较深,因此不需要特别指明深度。想对比的,自 编码器(Auto Encoder) 可以是很浅的网络,也可以很深。所以你会看到人们用 Deep Auto Encoder 来特别指明其深度。

应用场景:全连接的前馈深度神经网络 (Fully Connected Feed Forward Neural Networks),也就是 DNN 适用于大部分分类(Classification)任务,比如 数字识别等。但一般的现实场景中我们很少有那么大的数据量来支持 DNN,所以 纯粹的全连接网络应用性并不是很强。

1. 2. 循 环 神 经 网 络 (Recurrent Neural Networks) 和 递 归 神 经 网 络 (Recursive Neural Networks)

光环大数据 http://hadoop.aura-el.com

光环大数据--大数据培训&人工智能培训 http://hadoop.aura-el.com

虽然很多时候我们把这两种网络都叫做 RNN,但事实上这两种网路的结构事 实上是不同的。而我们常常把两个网络放在一起的原因是:它们都可以处理有序 列的问题,比如时间序列等。

举个最简单的例子,我们预测股票走势用 RNN 就比普通的 DNN 效果要好,原 因是股票走势和时间相关,今天的价格和昨天、上周、上个月都有关系。而 RNN 有“记忆”能力,可以“模拟”数据间的依赖关系(Dependency)。为了加强这种 “记忆能力” ,人们开发各种各样的变形体,如非常著名的 Long Short-term Memory(LSTM),用于解决“长期及远距离的依赖关系” 。如下图所示,左边的小 图是最简单版本的循环网络,而右边是人们为了增强记忆能力而开发的 LSTM。

同理,另一个循环网络的变种 – 双向循环网络(Bi-directional RNN)也是 现阶段自然语言处理和语音分析中的重要模型。 开发双向循环网络的原因是语言 /语音的构成取决于上下文,即“现在”依托于“过去”和“未来” 。单向的循环 网络仅着重于从“过去”推出“现在” ,而无法对“未来”的依赖性有效的建模。

递归神经网络和循环神经网络不同, 它的计算图结构是树状结构而不是网状 结构。递归循环网络的目标和循环网络相似,也是希望解决数据之间的长期依赖 问题。而且其比较好的特点是用树状可以降低序列的长度,从 降低到 ,熟悉数 据结构的朋友都不陌生。但和其他树状数据结构一样,如何构造最佳的树状结构 如平衡树/平衡二叉树并不容易。

应用场景:语音分析,文字分析,时间序列分析。主要的重点就是数据之间 存在前后依赖关系,有序列关系。一般首选 LSTM,如果预测对象同时取决于过 去和未来,可以选择双向结构,如双向 LSTM。

1.3. 卷积网络(Convolutional Neural Networks)

光环大数据 http://hadoop.aura-el.com

光环大数据--大数据培训&人工智能培训 http://hadoop.aura-el.com

卷积网络早已大名鼎鼎, 从某种意义上也是为深度学习打下良好口碑的功臣。 不仅如此,卷积网络也是一个很好的计算机科学借鉴神经科学的例子。卷积网络 的精髓其实就是在多个空间位置上共享参数, 据说我们的视觉系统也有相类似的 模式。

首先简单说什么是卷积。卷积运算是一种数学计算,和矩阵相乘不同,卷积 运算可以实现稀疏相乘和参数共享,可以压缩输入端的维度。和普通 DNN 不同, CNN 并不需要为每一个神经元所对应的每一个输入数据提供单独的权重。与池化 (pooling)相结合,CNN 可以被理解为一种公共特征的提取过程,不仅是 CNN 大 部分神经网络都可以近似的认为大部分神经元都被用于特征提取。

以上图为例,卷积、池化的过程将一张图片的维度进行了压缩。从图示上我 们不难看出卷积网络的精髓就是适合处理结构化数据, 而该数据在跨区域上依然 有关联。

应用场景:虽然我们一般都把 CNN 和图片联系在一起,但事实上 CNN 可以处 理大部分格状结构化数据(Grid-like Data)。举个例子,图片的像素是二维的格 状数据,时间序列在等时间上抽取相当于一维的的格状数据,而视频数据可以理 解为对应视频帧宽度、高度、时间的三维数据。 2. 无监督的预训练网络(Unsupervised Pre-trained Neural Networks)

2.1. 深度生成模型(Deep Generative Models)

说到生成模型,大家一般想到的无监督学习中的很多建模方法,比如拟合一 个高斯混合模型或者使用贝叶斯模型。 深度学习中的生成模型主要还是集中于想 使用无监督学习来帮助监督学习, 毕竟监督学习所需的标签代价往往很高?所以 请大家不要较真我把这些方法放在了无监督学习中。

光环大数据 http://hadoop.aura-el.com

光环大数据--大数据培训&人工智能培训 http://hadoop.aura-el.com

2.1.1. 玻尔兹曼机 (Boltzmann Machines) 和受限玻尔兹曼机 (Restricted Boltzmann Machines)

每次一提到玻尔兹曼机和受限玻尔兹曼机我其实都很头疼。简单的说,玻尔 兹曼机是一个很漂亮的基于能量的模型,一般用最大似然法进行学习,而且还符 合 Hebb’s Rule 这个生物规律。但更多的是适合理论推演,有相当多的实际操 作难度。

而受限玻尔兹曼机更加实际,它限定了其结构必须是二分图 (Biparitite Graph)且隐藏层和可观测层之间不可以相连接。 此处提及 RBM 的原因是因为它是 深度信念网络的构成要素之一。

应用场景:实际工作中一般不推荐单独使用 RBM?

2.1.2. 深度信念网络(Deep Belief Neural Networks)

DBN 是祖师爷 Hinton 在 06 年提出的,主要有两个部分: 1. 堆叠的受限玻 尔兹曼机(Stacked RBM) 2. 一层普通的前馈网络。

DBN 最主要的特色可以理解为两阶段学习,阶段 1 用堆叠的 RBM 通过无监督 学习进行预训练(Pre-train),阶段 2 用普通的前馈网络进行微调。就像我上文 提到的,神经网络的精髓就是进行特征提取。和后文将提到的自动编码器相似, 我们期待堆叠的 RBF 有数据重建能力, 及输入一些数据经过 RBF 我们还可以重建 这些数据,这代表我们学到了这些数据的重要特征。

将 RBF 堆叠的原因就是将底层 RBF 学到的特征逐渐传递的上层的 RBF 上, 逐 渐抽取复杂的特征。比如下图从左到右就可以是低层 RBF 学到的特征到高层 RBF

光环大数据 http://hadoop.aura-el.com

光环大数据--大数据培训&人工智能培训 http://hadoop.aura-el.com 学到的复杂特征。 在得到这些良好的特征后就可以用第二部分的传统神经网络进 行学习。

多说一句,特征抽取并重建的过程不仅可以用堆叠的 RBM,也可以用后文介 绍的自编码器。

应用场景:现在来说 DBN 更多是了解深度学习“哲学”和“思维模式”的一 个手段,在实际应用中还是推荐 CNN/RNN 等,类似的深度玻尔兹曼机也有类似的 特性但工业界使用较少。

2.1.3. 生成式对抗网络(Generative Adversarial Networks)

生成式对抗网络用无监督学习同时训练两个模型, 内核哲学取自于博弈论?

简单的说,GAN 训练两个网络:1. 生成网络用于生成图片使其与训练数据 相似 2. 判别式网络用于判断生成网络中得到的图片是否是真的是训练数据还 是伪装的数据。生成网络一般有逆卷积层(deconvolutional layer)而判别网络 一般就是上文介绍的 CNN。自古红蓝出 CP,下图左边是生成网络,右边是判别网 络,相爱相杀。

熟悉博弈论的朋友都知道零和游戏(zero-sum game)会很难得到优化方程, 或很难优化,GAN 也不可避免这个问题。但有趣的是,GAN 的实际表现比我们预 期的要好,而且所需的参数也远远按照正常方法训练神经网络,可以更加有效率 的学到数据的分布。

另一个常常被放在 GAN 一起讨论的模型叫做变分自编码器 (Variational Auto-encoder),有兴趣的读者可以自己搜索。

光环大数据 http://hadoop.aura-el.com

光环大数据--大数据培训&人工智能培训 http://hadoop.aura-el.com 应用场景:现阶段的 GAN 还主要是在图像领域比较流行,但很多人都认为它 有很大的潜力大规模推广到声音、视频领域。

2.2. 自编码器(Auto-encoder)

自编码器是一种从名字上完全看不出和神经网络有什么关系的无监督神经 网络,而且从名字上看也很难猜测其作用。让我们看一幅图了解它的工作原理?

如上图所示,Autoencoder 主要有 2 个部分:1. 编码器(Encoder) 2. 解码 器(Decoder)。我们将输入(图片 2)从左端输入后,经过了编码器和解码器,我 们得到了输出?.一个 2。 但事实上我们真正学习到是中间的用红色标注的部分, 即数在低维度的压缩表示。评估自编码器的方法是重建误差,即输出的那个数字 2 和原始输入的数字 2 之间的差别,当然越小越好。

和 主 成 分 分 析 (PCA) 类 似 , 自 编 码 器 也 可 以 用 来 进 行 数 据 压 缩 (Data Compression),从原始数据中提取最重要的特征。认真的读者应该已经发现输入 的那个数字 2 和输出的数字 2 略有不同, 这是因为数据压缩中的损失, 非常正常。

应用场景:主要用于降维(Dimension Reduction),这点和 PCA 比较类似。 同 时 也 有 专 门 用 于 去 除 噪 音 还 原 原 始 数 据 的 去 噪 编 码 器 (Denoising Auto-encoder)。

为什么大家选择光环大数据!

大数据培训、 人工智能培训、 Python 培训、 大数据培训机构、 大数据培训班、 数据分析培训、大数据可视化培训,就选光环大数据!光环大数据,聘请大数据 领域具有多年经验的讲师,提高教学的整体质量与教学水准。讲师团及时掌握时 代的技术,将时新的技能融入教学中,让学生所学知识顺应时代所需。通过深入

光环大数据 http://hadoop.aura-el.com

光环大数据--大数据培训&人工智能培训 http://hadoop.aura-el.com 浅出、通俗易懂的教学方式,指导学生较快的掌握技能知识,帮助莘莘学子实现 就业梦想。

光环大数据启动了推进人工智能人才发展的“AI 智客计划” 。光环大数据专注国内 大数据和人工智能培训,将在人工智能和大数据领域深度合作。未来三年,光环大数据 将联合国内百所大学,通过“AI 智客计划” ,共同推动人工智能产业人才生态建设,培 养和认证 5-10 万名 AI 大数据领域的人才。

参加“AI 智客计划” ,享 2000 元助学金!

【报名方式、详情咨询】 光环大数据网站报名:http://hadoop.aura-el.com 手机报名链接:http:// hadoop.aura-el.com /mobile/

光环大数据 http://hadoop.aura-el.com


赞助商链接
相关文章:
深度学习平台
其占用 3.99 GB 的显存,已接近主流 GPU 的显 存容量, 试图增大模型则会超过...面对机遇和挑战,我们打造了腾讯深度学习平台 Mariana。Mariana 包括三个框架:深度...
从单层感知器到深度学习以及深度学习必知的框架
从单层感知器到深度学习以及深度学习必知的框架一 单层神经网络(感知器) 1.结构 下面来说明感知器模型。 在原来 MP 模型的“输入”位置添加神经元节点,标志其为...
深度学习准备稿
深度学习准备稿 - 深度学习准备稿 监督学习与无监督学习 机器学习有一类学习方法叫做监督学习, 它是说为了训练一个模型, 我们要 提供这样一堆训练样本:每个训练...
基于深度学习的语音识别——文献阅读笔记
英文标准连续语音识别库 TIMIT 主流的语音识别系统基本上都是以隐马尔科夫模型为基础所建立的 倒谱均值方差归一化、声道长度归一化以及 RASTA 滤波 用深度学习方法...
BP神经网络及深度学习研究
BP 神经网络及深度学习研究 1 引言 人工神经网络(Artificial Neural Network,即 ...从功能特性和学习特性来分,典型的神经网络模型主要包括感知器、线性神 经网络、...
云端图像技术的深度学习模型与应用
云端图像技术的深度学习模型与应用 - 人工智能,AI,机器学习,深度学习,人工智能技术,人工智能方案,人工智能行业报告
“深度学习“学习笔记
因此,“深度模型”是手段,“特 征学习”是目的。区别于传统的浅层学习,深度学习的不同在于: 1)强 调了模型结构的深度,通常有 5 层、 6 层,甚至 10 层...
神经网络草稿
神经网络草稿 - 分形神经网络与深度学习 目前主流的深度学习模型大多采用两种策略,其中之一是 无监督逐层训练。 无监督逐层训练其基本思想是每次训练一层隐 节点,...
深度学习在自然语言处理中的应用
模型成为自然语言处 理非主流方法之后, 属于统计方法典型代表的人工神经网络在自然语言处理领域 依然没有得到足够重视.当然,这一切在 2006 年 Hinton 等提出深度学习...
更多相关标签: