什么是深度学习？

目前人工智能领域发生了很多事情。你们中的一些人可能想知道机器是如何做到它们能做到的。它们如何识别图像、理解语音，甚至回复我的请求？？？

欢迎来到深度学习的世界。 

深度学习是机器学习的一个子领域，它关注受大脑结构和功能启发而创建的算法，这些算法被称为人工神经网络。

是的，我明白，这听起来非常技术化和令人不知所措，对吧？ 

如果你刚开始接触深度学习领域，或者你很久以前对神经网络有一些经验，你可能会感到困惑。我知道我最初很困惑，许多在1990年代和2000年代早期学习和使用神经网络的同事和朋友也一样困惑。

该领域的领导者和专家对什么是深度学习有自己的看法，这些具体而细致的观点为深度学习的全部内容提供了很多启示。

但深度学习到底是什么？它到底是什么？深度学习对当今的先驱者和思想领袖意味着什么？如果你正在思考这些问题，那么你就来对地方了。 

本文将通过听取该领域一系列专家和领导者的意见来探讨深度学习是什么。

如果你真的渴望学习深度学习，请从我的新书《用Python进行深度学习》开始你的项目，其中包括分步教程和所有示例的Python源代码文件。

用我的新书《用Python进行深度学习》启动你的项目，其中包括分步教程和所有示例的Python源代码文件。

让我们开始吧。

什么是深度学习？
图片由Kiran Foster拍摄，保留部分权利。

吴恩达论深度学习的精髓

吴恩达以其在该领域的贡献而闻名，他是DeepLearning.AI和其他平台（如Coursera）的创始人，并正式创立了Google Brain。这最终导致了深度学习技术在大量Google服务中的产品化。

吴恩达经常发表关于深度学习的文章和演讲，这使他成为那些希望了解更多该领域的人的绝佳起点。

在深度学习的早期阶段，吴恩达在传统人工神经网络的背景下描述了深度学习。在2013年题为“深度学习、自学和无监督特征学习”的演讲中，他将深度学习的理念描述为

利用大脑模拟，希望能够

——使学习算法变得更好、更容易使用。

——在机器学习和人工智能领域取得革命性进展。

我相信这是我们迈向真正人工智能的最佳途径。

后来他的评论变得更加细致。

随着时间的推移，吴恩达对深度学习的见解变得更加精炼和细致。

根据吴恩达的说法，深度学习的核心是现代计算能力的可用性以及可用于训练大型神经网络的大量数据。在2015年ExtractConf的一次题为“数据科学家应该了解的深度学习”的演讲中，他讨论了为什么现在是深度学习起飞的时候，他评论道：

我们现在拥有的超大型神经网络和……我们可访问的巨量数据

他还评论了规模在深度学习世界中的重要性。随着我们构建更大的神经网络并用越来越多的数据训练它们，它们的性能会持续提升。与许多性能会达到瓶颈的传统机器学习方法不同，深度学习表现突出。 

构建更大的神经网络并提供更多的数据将带来效率的提升。 

吴恩达指出

对于大多数旧一代学习算法的变体……性能会趋于平稳。……深度学习……是第一类……可扩展的算法。……随着你输入更多数据，性能会不断提高

这是他幻灯片中一个很好的漫画解释

为什么选择深度学习？
幻灯片作者：Andrew Ng，保留所有权利。

吴恩达强调的另一个重点是深度学习中监督学习的重要性。在2015年的ExtractConf会议上，他指出：

今天深度学习的几乎所有价值都通过监督学习或从标记数据中学习获得

在2014年斯坦福大学题为“深度学习”的讲座中，他表达了类似的观点：

深度学习之所以如此流行，原因之一就是它在监督学习方面表现出色

吴恩达经常提到，随着该领域日益成熟以处理大量未标记数据，我们应该并且将会看到更多来自无监督学习方面的好处。

Jeff Dean：Google 深度学习基础设施的架构师

Jeff Dean是Google系统和基础设施团队的驱动力，现已被任命为Google首席科学家，他在Google内部深度学习的规模化和采用方面发挥了关键作用，甚至可能为此负部分责任。Jeff参与了Google Brain项目以及大型深度学习软件DistBelief（后来是TensorFlow）的开发。

在2016年题为“深度学习用于构建智能计算机系统”的演讲中，Jeff也发表了类似的评论，认为深度学习实际上就是大型神经网络。

当你听到深度学习这个词时，只需将其视为一个大型深度神经网络。深度通常指的是层数，因此这是一种在媒体上流行的术语。我通常将它们视为深度神经网络。

他曾多次进行此演讲，在同一演讲的修改版幻灯片中，Jeff强调了神经网络的可扩展性，表明结果会随着更多数据和更大模型而变得更好，这反过来又需要更多的计算来进行训练。

看起来吴恩达和Jeff Dean肯定有过同样的对话。

更多数据、更大模型、更多计算带来更好的结果
幻灯片作者：Jeff Dean，保留所有权利。

深度学习：分层特征学习的艺术

深度学习模型的另一个特点是它们能够从原始数据中自动提取特征，也称为特征学习。

Yoshua Bengio：先驱的视角

Yoshua Bengio是深度学习领域的另一位重要人物。他最初对大型神经网络能够实现的自动特征学习能力很感兴趣。

在他的2012年论文《无监督和迁移学习的深度表示学习》中，Bengio评论道：

深度学习算法试图利用输入分布中未知的结构，以发现良好的表示，通常在多个层次上，其中更高级别的学习特征由更低级别的特征定义

随后，他在2009年题为“学习人工智能的深度架构”的技术报告中进一步阐述了这一思想，强调了特征学习中层次结构的重要性。

深度学习方法旨在学习特征层次结构，其中层次结构中更高级别的特征由更低级别特征的组合构成。自动学习多个抽象级别的特征使系统能够直接从数据中学习将输入映射到输出的复杂函数，而无需完全依赖人工设计的特征。

Bengio与Ian Goodfellow和Aaron Courville合著了一本书，名为《深度学习》，该书根据模型的架构深度定义了深度学习。

概念的层次结构允许计算机通过将复杂概念分解为更简单的概念来学习它们。如果我们绘制一张图表，显示这些概念是如何相互构建的，那么这张图表将是深层的，具有许多层。因此，我们将这种人工智能方法称为深度学习。

这本书已成为该领域的权威资源，将多层感知器作为深度学习中的核心算法，表明深度学习已有效地整合了人工神经网络。

Peter Norvig：Google 对深度和抽象的看法

深度学习模型的典型例子是前馈深度网络或多层感知器（MLP）。

Peter Norvig，Google 的研究总监，以其关于人工智能的教科书《人工智能：一种现代方法》而闻名。

在2016年题为“深度学习与可理解性对比软件工程与验证”的演讲中，Norvig与Bengio对深度学习的观点产生了共鸣。他将深度学习定义为侧重于通过使用更深的网络结构所允许的抽象能力。

一种学习方式，其中你形成的表示具有多个抽象层次，而不是直接的输入到输出

“深度学习”一词的演变。为什么不直接称之为“人工神经网络”？

人工神经网络领域的先驱Geoffrey Hinton与人共同发表了第一篇关于训练多层感知器网络的反向传播算法的论文。

2006年，Hinton与人合著了《深度信念网络的快速学习算法》，其中“深度”一词表示具有多层网络，特别是受限玻尔兹曼机。

使用互补先验，我们推导出一个快速的贪婪算法，可以逐层学习深度、有向信念网络，前提是顶层和第二层形成一个无向联想记忆。

这篇论文，连同 Geoff 合著的另一篇题为《深度玻尔兹曼机》的关于无向深度网络的开创性论文，受到了社区的广泛好评，因为它们被证明是网络贪婪逐层训练的成功范例，允许前馈网络拥有更多层。

在另一篇合著文章“使用神经网络降低数据维度”中，“深度”一词持续用于描述他们开发比以前典型的网络层数多得多的网络的方法。

我们描述了一种有效的权重初始化方法，它允许深度自动编码器网络学习低维代码，该代码作为降低数据维度的工具比主成分分析效果更好。

呼应吴恩达关于计算能力、使用大量数据集和最佳权重初始化融合的观点，文章传达了：

自20世纪80年代以来，通过深度自动编码器进行反向传播对于非线性降维将非常有效，只要计算机足够快，数据集足够大，并且初始权重足够接近一个好的解决方案。所有这三个条件现在都已满足。

2016年，在皇家学会的演讲中，主题为“深度学习”，Geoff评论道，深度信念网络是2006年深度学习的开端。这项成功，尤其是在语音识别方面，促使神经网络和语音识别领域在2009年题为“使用深度信念网络进行声学建模”的论文中引起了关注，并取得了最先进的成果。 

正是这些成果使得语音识别和神经网络社区注意到了“深度”一词作为对以前神经网络技术的区分，这可能导致了名称的改变。

皇家学会演讲中对深度学习的描述非常以反向传播为中心，正如你所期望的那样。有趣的是，Hinton给出了反向传播（即“深度学习”）在20世纪90年代未能普及的4个原因。前两点与吴恩达关于数据集太小和计算机太慢的评论高度吻合。

1986年的反向传播到底出了什么问题？
幻灯片作者：Geoff Hinton，保留所有权利。

深度学习作为跨领域的可扩展学习

深度学习特别擅长处理输入和输出通常是模拟数据的情景。这意味着，深度学习并非依赖于表格格式的少量数量值，而是在处理图像中的像素数据、文本数据文档或音频数据文件时表现出色。

Yann LeCun：卷积神经网络（CNN）的远见者

目前担任Meta公司副总裁兼首席人工智能科学家的Yann LeCun，是擅长图像数据中物体识别的网络架构——卷积神经网络（CNN）之父。这项技术已经并将继续取得巨大成功，因为与多层感知器前馈神经网络一样，该技术随着数据和模型大小的增加而扩展，并且可以通过反向传播进行训练。

这使得他对深度学习的定义偏向于开发非常大的CNN，这些CNN在照片中的物体识别方面取得了巨大成功。

在2016年劳伦斯利弗莫尔国家实验室题为“加速理解：深度学习、智能应用和GPU”的演讲中，LeCun将深度学习描述为追求分层表示，并进一步指出它是一种构建物体识别系统的可扩展方法。

深度学习 [是] ……一个由所有可训练模块组成的管道。……之所以“深”，是因为在识别对象的过程中有多个阶段，而所有这些阶段都是训练的一部分

深度学习 = 学习分层表示
幻灯片作者：Yann LeCun，保留所有权利。

Jurgen Schmidhuber：长短期记忆网络（LSTM）的创新者

我们邀请另一位创始人加入讨论，他就是Jurgen Schmidhuber，他因创造了长短期记忆网络（LSTM）（一种循环神经网络）而闻名。

施密德胡伯在他的2014年论文《神经网络中的深度学习：概述》中表达了他对将该领域标记为“深度学习”的保留意见。他评论了该领域命名的问题以及深度学习与浅层学习的区别。他还饶有兴致地从问题复杂度而不是用于解决问题的模型的角度来描述深度。

浅层学习在何种问题深度下结束，深度学习又从何处开始？与深度学习专家的讨论尚未对此问题给出明确的答案。[…]，出于本次概述的目的，我姑且定义：深度 > 10 的问题需要非常深度学习。

Demis Hassabis 和 DeepMind 的崛起

Demis Hassabis，DeepMind的远见者，该公司后来被Google收购。他开创性地将深度学习和强化学习融合在一起。这一结合突破能够处理复杂学习问题，例如游戏对弈，最著名的例子就是用AlphaGo玩雅达利游戏和围棋。

为了与命名保持一致，他们将他们的新技术称为深度Q网络（Deep Q-Network），结合了深度学习（Deep Learning）和Q学习（Q-Learning），随后将这个广阔的领域称为“深度强化学习”（Deep Reinforcement Learning）。

在他们2015年发表在《自然》杂志上的论文《通过深度强化学习实现人类水平的控制》中，他们评论了深度神经网络的重要性以及它如何在他们的突破中发挥了关键作用，并强调了分层抽象的必要性。

为了实现这一点，我们开发了一种新颖的代理，即深度Q网络（DQN），它能够将强化学习与一类被称为深度神经网络的人工神经网络结合起来。值得注意的是，深度神经网络的最新进展，其中使用多层节点来构建逐渐更抽象的数据表示，使得人工神经网络可以直接从原始感官数据中学习物体类别等概念。

现在，为了汇集伟大的思想，Yann LeCun、Yoshua Bengio和Geoffrey Hinton在《自然》杂志上发表了一篇具有里程碑意义的论文，题为《深度学习》。在文章开头，他们给出了一个清晰的深度学习定义，强调了多层方法。

深度学习允许由多个处理层组成的计算模型学习具有多个抽象级别的数据表示。

随后，这种多层方法被描述为表示学习和抽象。

深度学习方法是具有多个表示层次的表示学习方法，通过组合简单但非线性的模块来获得，每个模块将一个层次的表示（从原始输入开始）转换为更高、稍微更抽象的层次的表示。[……]深度学习的关键之处在于这些特征层不是由人类工程师设计的：它们是使用通用学习过程从数据中学习的。

虽然这是一个很好的通用描述，但这个全面的描述概括了大多数人工神经网络算法的精髓，为一个好的结尾提供了注脚。

总结

在这篇文章中，你发现深度学习就是在大数据上使用非常大的神经网络，需要更大的计算机。

尽管Hinton及其合作者发表的早期方法侧重于贪婪分层训练和自动编码器等无监督方法，但现代最先进的深度学习则侧重于使用反向传播算法训练深度（多层）神经网络模型。最流行的技术是

• 多层感知器网络。
• 卷积神经网络。
• 长短期记忆循环神经网络。

我希望这已经澄清了什么是深度学习，以及领先的定义如何在同一个概念下融会贯通。

如果您对深度学习或本文有任何疑问，请在下方评论中提出您的问题，我将尽力回答。

分享 发布 分享

关于此主题的更多信息

• 

  使用学习率调度进行深度学习…

• 

  深度学习的迁移学习入门

• 

  深度学习神经网络的集成学习方法

• 

  如何配置训练时的学习率…

• 

  如何通过迁移学习提升性能…

• 

  深入理解机器学习工具…