Python 应用深度学习迷你课程

深度学习是一个引人入胜的研究领域，其技术在解决一系列具有挑战性的机器学习问题方面取得了世界一流的成果。

入门深度学习可能会很困难。

您应该使用哪个库？应该专注于哪些技术？

在这篇文章中，您将通过一个使用易于使用且功能强大的 Keras 库的 Python 深度学习 14 部分速成课程来了解相关知识。

本迷你课程面向已经熟悉 SciPy 生态系统中 scikit-learn 进行机器学习的 Python 机器学习从业者。

通过我的新书《Python 深度学习》，其中包括分步教程和所有示例的Python 源代码文件，助您启动项目。

让我们开始吧。

(提示：您可能想打印或收藏此页面，以便日后参考。)

• **2018 年 3 月更新**：添加了下载数据集的备用链接，因为原始链接似乎已被删除。
• 更新于 2019 年 10 月：已更新至 Keras 2.3.0。

Python 应用深度学习迷你课程
照片由 darkday 提供，保留部分权利。

本迷你课程适合谁？

在我们开始之前，让我们确保你来对了地方。下面的列表提供了一些关于本课程设计对象的一般性指导。

如果您不完全符合这些要点，请不要惊慌，您可能只需要在某个领域稍作补充即可跟上。

• 了解一些代码的开发者。这意味着您可以使用 Python 来完成工作，并知道如何在工作站上设置 SciPy 生态系统（这是一个先决条件）。这并不意味着您是编程大师，但它确实意味着您不惧怕安装软件包和编写脚本。
• 了解一些机器学习知识的开发者。这意味着您了解机器学习的基础知识，如交叉验证、一些算法和偏差-方差权衡。这并不意味着您是机器学习博士，只是您了解相关要点或知道在哪里查找它们。

本迷你课程不是一本深度学习教材。

它将带您从一个了解一些 Python 机器学习知识的开发者，转变为一个能够取得成果并将深度学习的强大功能应用于您自己项目的开发者。

迷你课程概述（可以期待什么）

本迷你课程分为 14 部分。

每节课的设计时间约为普通开发人员 30 分钟。有些您可能会更快完成，有些您可能会选择深入研究并花费更多时间。

您可以根据自己的喜好快速或缓慢地完成每一部分。一个舒适的进度可能是两周内每天完成一课。强烈推荐。

接下来的 14 课将涵盖以下主题

• 第 1 课：Theano 简介。
• 第 2 课：TensorFlow 简介。
• 第 3 课：Keras 简介。
• 第 4 课：多层感知机速成。
• 第 5 课：在 Keras 中开发您的第一个神经网络。
• 第 6 课：将 Keras 模型与 Scikit-Learn 结合使用。
• 第 7 课：绘制模型训练历史。
• 第 8 课：在训练过程中使用检查点保存最佳模型。
• 第 9 课：使用 Dropout 正则化减少过拟合。
• 第 10 课：通过学习率调度提升性能。
• 第 11 课：卷积神经网络速成。
• 第 12 课：手写数字识别。
• 第 13 课：小照片中的对象识别。
• 第 14 课：通过数据增强提高泛化能力。

这将非常有趣。

不过，您需要付出一些努力，阅读、研究和编程。您想学习深度学习，对吧？

(提示：所有这些课程的答案都可以在这个博客上找到，请使用搜索功能)

有任何问题，请在下面的评论中提出。

在评论中分享你的结果。

坚持下去，不要放弃！

第 1 课：Theano 简介

Theano 是一个用于快速数值计算的 Python 库，可辅助深度学习模型的开发。

Theano 的核心是 Python 中数学表达式的编译器。它知道如何将您的结构转换为非常高效的代码，这些代码使用 NumPy 和高效的原生库，以便在 CPU 或 GPU 上尽可能快地运行。

Theano 表达式的实际语法是符号化的，这可能会让习惯于正常软件开发的初学者望而却步。具体来说，表达式是抽象意义上定义的，经过编译，然后实际用于进行计算。

本课的目标是安装 Theano 并编写一个小型示例，以演示 Theano 程序中符号化的性质。

例如，您可以使用 pip 如下方式安装 Theano

下面是您可以使用的一个小型 Theano 程序示例，可作为起点

在 Theano 主页上了解更多关于 Theano 的信息。

第 2 课：TensorFlow 简介

TensorFlow 是 Google 创建和发布的一个用于快速数值计算的 Python 库。与 Theano 类似，TensorFlow 也旨在用于深度学习模型的开发。

凭借 Google 的支持，它可能被用于其部分生产系统，并被 Google DeepMind 研究小组使用，这是一个我们不能忽视的平台。

与 Theano 不同，TensorFlow 更侧重于生产，能够运行在 CPU、GPU 甚至大型集群上。

本课的目标是安装 TensorFlow，并熟悉 TensorFlow 程序中使用的符号表达式的语法。

例如，您可以使用 pip 如下方式安装 TensorFlow

下面是一个您可以使用的小型 TensorFlow 程序示例，可作为起点

在 TensorFlow 主页上了解更多关于 TensorFlow 的信息。

第 3 课：Keras 简介

Theano 和 TensorFlow 的一个难点在于，即使是创建非常简单的神经网络模型也可能需要大量的代码。

这些库的设计初衷主要是作为研究和开发平台，而不是为了实际应用深度学习。

Keras 库通过为 Theano 和 TensorFlow 提供一个包装器来解决这些问题。它提供了一个干净简单的 API，让您只需几行代码即可定义和评估深度学习模型。

由于其易用性以及它利用了 Theano 和 TensorFlow 的强大功能，Keras 正在迅速成为应用深度学习的首选库。

Keras 的重点是模型这一概念。模型生命周期可总结如下

1. 定义您的模型。创建一个 Sequential 模型并添加配置好的层。
2. 编译您的模型。指定损失函数和优化器，然后调用模型的 compile() 函数。
   （同上）
3. 训练您的模型。通过调用模型的 fit() 函数在数据样本上训练模型。
   （同上）
4. 进行预测。使用模型通过调用模型上的 evaluate() 或 predict() 等函数来对新数据进行预测。

本课的目标是安装 Keras。

例如，您可以使用 pip 如下方式安装 Keras

开始熟悉 Keras 库，为接下来的课程做好准备，届时我们将实现我们的第一个模型。

您可以在 Keras 主页上了解更多关于 Keras 库的信息。

第 4 课：多层感知机速成

人工神经网络是一个迷人的研究领域，但入门时可能会让人望而生畏。
（同上）

人工神经网络领域通常被称为神经网络或多层感知机，这也许是因为它们是最有用的神经网络类型。
（同上）

神经网络的基本构建块是人工神经元。它们是简单的计算单元，具有加权的输入信号，并使用激活函数产生输出信号。
（同上）

神经元被组织成神经元网络。一排神经元称为一层，一个网络可以有多层。网络中神经元的结构通常被称为网络拓扑。
（同上）

配置完成后，神经网络需要根据您的数据集进行训练。神经网络的经典且仍然首选的训练算法称为随机梯度下降。
（同上）

简单神经元模型

本课的目标是熟悉神经网络的术语。

深入研究诸如神经元、权重、激活函数、学习率等术语。

第 5 课：在 Keras 中开发您的第一个神经网络

Keras 允许您用极少的代码行来开发和评估深度学习模型。

本课的目标是使用 Keras 库开发您的第一个神经网络。

使用 UCI 机器学习仓库中的标准二元（两类）分类数据集，例如 Pima 印第安人发病糖尿病或 电离层数据集。

将代码组合起来以实现以下目标

1. 使用 NumPy 或 Pandas 加载数据集。
2. 定义您的神经网络模型并进行编译。
3. 用数据集训练您的模型。
4. 评估您的模型在未见过的数据上的性能。

为了给您一个巨大的开端，下面是一个完整的可用作起点的可运行示例。

下载数据集并将其放置在您的当前工作目录中。

• 数据集文件.
• 数据集详情.

现在，在另一个数据集上开发您自己的模型，或改编此示例。

在 Keras 简单模型开发 API 上了解更多信息。

第 6 课：将 Keras 模型与 Scikit-Learn 结合使用

scikit-learn 库是 Python 中一个通用机器学习框架，建立在 SciPy 之上。

Scikit-learn 擅长执行诸如评估模型性能和优化模型超参数等任务，仅需几行代码。

Keras 提供了一个包装器类，允许您将深度学习模型与 scikit-learn 结合使用。例如，Keras 中的 KerasClassifier 类的实例可以包装您的深度学习模型，并用作 scikit-learn 中的 Estimator。

在使用 KerasClassifier 类时，您必须指定一个函数名，该函数名可供该类用于定义和编译您的模型。您还可以向 KerasClassifier 类的构造函数传递其他参数，这些参数稍后将传递给 model.fit() 调用，例如 epoch 数和 batch 大小。

本课的目标是开发一个深度学习模型并使用 k 折交叉验证对其进行评估。

例如，您可以像这样定义 KerasClassifier 的实例和用于创建模型的自定义函数

在 Sciki-Learn API 包装器网页上了解更多关于将 Keras 深度学习模型与 scikit-learn 结合使用的信息。

第 7 课：绘制模型训练历史

通过观察神经网络和深度学习模型在训练过程中的性能变化，您可以了解很多东西。

Keras 提供了在训练深度学习模型时注册回调的功能。

在训练所有深度学习模型时注册的默认回调之一是 History 回调。它记录每个 epoch 的训练指标。这包括损失和准确率（对于分类问题），以及验证数据集的损失和准确率（如果已设置）。

history 对象是从用于训练模型的 fit() 函数调用返回的。指标存储在对象 history 成员的字典中。

本课的目标是检查 history 对象并创建模型在训练期间性能的图表。

例如，您可以像这样打印您的 history 对象收集的指标列表

在 Keras 中的 History 对象和回调 API 上了解更多信息。

第 8 课：在训练过程中使用检查点保存最佳模型

应用程序检查点是一种用于长时运行进程的容错技术。

Keras 库通过回调 API 提供了检查点功能。ModelCheckpoint 回调类允许您定义检查点模型权重的确切位置、文件的命名方式以及进行模型检查点的具体条件。
（同上）
（同上）

检查点有助于在训练过程意外停止时跟踪模型权重。它也有助于跟踪训练过程中观察到的最佳模型。

本课的目标是使用 Keras 中的 ModelCheckpoint 回调来跟踪训练过程中观察到的最佳模型。

您可以定义一个 ModelCheckpoint，它会在每次观察到改进时将网络权重保存到同一个文件。例如

在 Keras 中的 ModelCheckpoint 回调上了解更多信息。

第 9 课：使用 Dropout 正则化减少过拟合

神经网络的一个大问题是它们可能会过度学习您的训练数据集。

Dropout 是一种简单但非常有效的减少过拟合的技术，在大型深度学习模型中已被证明非常有用。

Dropout 是一种技术，在训练过程中会随机忽略选定的神经元。它们被随机地丢弃。这意味着它们对下游神经元激活的贡献在前向传播中被暂时移除，并且任何权重更新都不会在反向传播中应用于该神经元。

您可以使用 Dropout 层类在深度学习模型中添加 dropout。

本课的目标是试验在神经网络的不同位置添加 dropout，并设置不同的 dropout 概率值。

例如，您可以创建一个 dropout 概率为 20% 的 dropout 层，并像这样将其添加到您的模型中

在 Keras 中的 dropout 上了解更多信息。

第 10 课：通过学习率调度提升性能

通过使用学习率调度，您通常可以提升模型的性能。

这通常被称为自适应学习率或退火学习率，是一种在训练模型期间改变随机梯度下降所使用的学习率的技术。

Keras 在 SGD 类的随机梯度下降算法实现中内置了基于时间的学习率调度。

在构造该类时，您可以指定衰减率，即每个 epoch 学习率（也指定了）将减少的量。在使用学习率衰减时，您应该增加初始学习率，并考虑添加较大的动量值，例如 0.8 或 0.9。

本课的目标是试验 Keras 中内置的基于时间的学习率调度。

例如，您可以指定一个学习率调度，该调度从 0.1 开始，每个 epoch 衰减 0.0001，如下所示

您可以在 此处 了解更多关于 Keras 中 SGD 类的信息。

第 11 课：卷积神经网络速成课

卷积神经网络是一种强大的前馈神经网络技术。

它们通过使用少量输入数据的小方块来学习内部特征表示，从而期望并保留图像中像素之间的空间关系。

特征被学习并应用于整个图像，这使得您图像中的对象可以移动或平移到场景中的其他位置，并且仍能被网络检测到。正是由于这个原因，这种类型的网络对于照片中的对象识别、识别不同方向的数字、面孔、物体等非常有用。

卷积神经网络中有三种类型的层

1. 卷积层：由滤波器和特征图组成。
2. 池化层：对特征图的激活进行下采样。
3. 全连接层：连接在模型末端，可用于进行预测。

在本课中，您将熟悉描述卷积神经网络时使用的术语。

这可能需要您做一些研究。

目前不必过于担心它们的工作原理，只需学习此类网络使用的各种层的术语和配置即可。

第 12 课：手写数字识别

手写数字识别是一个困难的计算机视觉分类问题。

MNIST 数据集 是评估手写数字识别问题算法的标准问题。它包含 60,000 张数字图像，可用于训练模型，以及 10,000 张图像，可用于评估其性能。

MNIST 图像示例

使用卷积神经网络可以在 MNIST 问题上取得最先进的结果。Keras 可以轻松加载 MNIST 数据集。

在本课中，您的目标是为 MNIST 问题开发一个非常简单的卷积神经网络，该网络包含一个卷积层、一个最大池化层和一个用于进行预测的密集层。

例如，您可以使用以下方法在 Keras 中加载 MNIST 数据集

下载文件到您的计算机可能需要一些时间。

提示：您将使用的第一个隐藏层 Keras 的 Conv2D 层期望图像数据的格式为 宽度 x 高度 x 通道，而 MNIST 数据有 1 个通道，因为图像是灰度图，宽度和高度均为 28 像素。您可以轻松地将 MNIST 数据集重塑如下

您还需要对输出类别值进行独热编码，Keras 也提供了一个方便的辅助函数来实现此功能

最后给您一个提示，这里有一个您可以作为起点使用的模型定义

第 13 课：小照片中的物体识别

物体识别是模型必须指示照片中包含什么的问题。

深度学习模型使用深度卷积神经网络在此类问题上取得最先进的结果。

一个流行的用于评估此类问题模型的标准数据集称为 CIFAR-10。它包含 60,000 张小照片，每张照片包含 10 种物体之一，如猫、船或飞机。

CIFAR-10 图像小样本

与 MNIST 数据集一样，Keras 提供了一个方便的函数，您可以使用它来加载数据集，并且在您第一次尝试加载时，它会将其下载到您的计算机。该数据集为 163 MB，因此下载可能需要几分钟。

您在本课中的目标是为 CIFAR-10 数据集开发一个深度卷积神经网络。我建议采用重复的卷积和池化层模式。考虑尝试 dropout 和长时间训练。

例如，您可以使用以下方法在 Keras 中加载 CIFAR-10 数据集并为其准备用于卷积神经网络

第 14 课：通过数据增强提高泛化能力

在使用神经网络和深度学习模型时，需要进行数据准备。

在更复杂的物体识别任务中， 数据增强的需求也越来越大。这是指对数据集中图像进行随机翻转和移位修改。这实质上使您的训练数据集更大，并帮助您的模型泛化图像中对象的_位置_和_方向_。

Keras 提供了一个图像增强 API，它可以在使用时创建数据集图像的修改版本。 ImageDataGenerator 类可用于定义要执行的图像增强操作，这些操作可以适应数据集，然后用于代替您的数据集来训练模型。

您本课的目标是使用您从之前的课程（如 MNIST 或 CIFAR-10）中已经熟悉的某个数据集来尝试 Keras 图像增强 API。

例如，下面的示例创建了 MNIST 数据集中图像的最大 90 度随机旋转。

您可以在 此处 了解更多关于 Keras 图像增强 API 的信息。

深度学习迷你课程回顾

恭喜，你做到了。干得好！

花点时间回顾一下你已经走了多远：

• 您了解了 Python 中的深度学习库，包括强大的数值计算库 Theano 和 TensorFlow，以及易于使用的 Keras 库，用于应用深度学习。
• 您使用 Keras 构建了第一个神经网络，并学会了如何将深度学习模型与 scikit-learn 结合使用，以及如何检索和绘制模型的训练历史。
• 您了解了如 dropout 正则化和学习率调度等更高级的技术，以及如何在 Keras 中使用这些技术。
• 最后，您更进一步，学习并开发了用于复杂计算机视觉任务的卷积神经网络，并了解了图像数据的增强。

不要小看这些成就，您在短时间内取得了长足的进步。这只是您 Python 深度学习之旅的开始。请继续练习和发展您的技能。

您喜欢这个迷你课程吗？您有任何问题或困惑的地方吗？
留下评论，让我知道。