深度学习的迁移学习入门

迁移学习是一种机器学习方法，其中为一项任务开发的模型被重用，作为第二个任务的模型起点。

在深度学习中，这是一种流行的方法，其中预训练模型被用作计算机视觉和自然语言处理任务的起点，因为在这些问题上开发神经网络模型需要大量的计算和时间资源，并且它们在相关问题上提供了巨大的技能提升。

在本文中，您将了解如何使用迁移学习来加速训练并提高深度学习模型的性能。

阅读本文后，你将了解：

• 什么是迁移学习及其使用方法。
• 深度学习中迁移学习的常见示例。
• 何时在您自己的预测建模问题中使用迁移学习。

立即开始您的项目，阅读我的新书《深度学习用于计算机视觉》，其中包含分步教程和所有示例的Python源代码文件。

让我们开始吧。

有关在计算机视觉中使用迁移学习的示例，请参阅博文

• Keras 中的计算机视觉模型迁移学习

深度学习迁移学习入门指南
照片作者：Mike’s Birds，保留部分权利。

什么是迁移学习？

迁移学习是一种机器学习技术，其中在一项任务上训练的模型被重新用于相关的第二项任务。

迁移学习和领域适应是指在一种环境中学习到的知识……被用来提高另一种环境中的泛化能力。

—— 第 526 页，《深度学习》，2016。

迁移学习是一种优化，可以快速进步或在对第二项任务进行建模时提高性能。

迁移学习是通过从已学会的相关任务转移知识来提高新任务的学习能力。

—— 《第 11 章：迁移学习》，《机器学习应用研究手册》，2009。

迁移学习与多任务学习和概念漂移等问题相关，并且并非仅限于深度学习的研究领域。

尽管如此，由于训练深度学习模型所需的巨大资源，或者深度学习模型所训练的大型且具有挑战性的数据集，迁移学习在深度学习中仍然很受欢迎。

迁移学习在深度学习中仅当从第一项任务中学到的模型特征是通用的时才有效。

在迁移学习中，我们首先在一个基本数据集和任务上训练一个基本网络，然后我们将学习到的特征重新用于或转移到第二个目标网络，以在目标数据集和任务上进行训练。如果这些特征是通用的，即适合基本任务和目标任务，而不是特定于基本任务，那么这个过程就会奏效。

—— 《深度神经网络中的特征有多可迁移？》

在深度学习中使用的这种形式的迁移学习称为归纳迁移。这是通过使用在不同但相关的任务上拟合的模型来有益地缩小可能模型的范围（模型偏差）。

归纳迁移的示意图
摘自“迁移学习”

如何使用迁移学习？

您可以在自己的预测建模问题上使用迁移学习。

两种常见的方法如下：

1. 开发模型方法
2. 预训练模型方法

开发模型方法

1. 选择源任务。您必须选择一个相关且数据充足的预测建模问题，其中输入数据、输出数据和/或在从输入到输出数据的映射过程中学到的概念存在某种关系。
2. 开发源模型。接下来，您必须为第一个任务开发一个熟练的模型。该模型必须优于朴素模型，以确保已执行一些特征学习。
3. 重用模型。然后，可以在目标任务上使用在源任务上拟合的模型作为起点。根据所使用的建模技术，这可能涉及使用模型的所有部分或部分。
4. 调整模型。可以选择性地在可用任务的输入-输出对数据上调整或完善模型。

预训练模型方法

1. 选择源模型。从可用模型中选择一个预训练的源模型。许多研究机构在大型且具有挑战性的数据集上发布模型，这些模型可能包含在可供选择的候选模型池中。
2. 重用模型。然后，可以在目标任务上使用预训练模型作为起点。根据所使用的建模技术，这可能涉及使用模型的所有部分或部分。
3. 调整模型。可以选择性地在可用任务的输入-输出对数据上调整或完善模型。

这种第二种迁移学习在深度学习领域很常见。

深度学习迁移学习示例

让我们通过深度学习模型的两个常见迁移学习示例来具体说明。

图像数据的迁移学习

在使用图像数据作为输入的预测建模问题中进行迁移学习是很常见的。

这可能是一个以照片或视频数据作为输入的预测任务。

对于这类问题，通常会使用为大型且具有挑战性的图像分类任务（如ImageNet 1000类照片分类竞赛）预训练的深度学习模型。

开发此竞赛模型并表现出色的研究组织，通常会在宽松的许可下发布其最终模型以供重用。这些模型在现代硬件上可能需要数天或数周才能训练完成。

这些模型可以下载并直接集成到需要图像数据作为输入的新模型中。

此类模型的三个示例包括：

• 牛津 VGG 模型
• 谷歌 Inception 模型
• 微软 ResNet 模型

更多示例，请参阅Caffe Model Zoo，其中共享了更多预训练模型。

这种方法之所以有效，是因为图像是在大型照片语料库上训练的，并且要求模型对相当多的类别进行预测，反过来，这也要求模型有效地学习从照片中提取特征，以便在该问题上表现良好。

在他们关于“用于视觉识别的卷积神经网络”的斯坦福课程中，作者们建议仔细选择在您的新模型中使用预训练模型的多少。

[卷积神经网络] 的特征在早期层更通用，在后期层更特定于原始数据集

—— 迁移学习，《CS231n 视觉识别卷积神经网络》

语言数据的迁移学习

在处理以文本作为输入或输出的自然语言处理问题时，进行迁移学习是很常见的。

对于这类问题，会使用词嵌入，即将词映射到高维连续向量空间，其中含义相似的不同词具有相似的向量表示。

存在有效的算法来学习这些分布式词表示，并且研究机构通常会以宽松的许可发布在非常大的文本语料库上训练的预训练模型。

此类模型的两个示例包括：

• 谷歌的 word2vec 模型
• 斯坦福的 GloVe 模型

这些分布式词表示模型可以下载并集成到深度学习语言模型中，用于解释输入中的单词或生成模型输出中的单词。

Yoav Goldberg 在其关于“深度学习用于自然语言处理”的书中谨慎地指出：

……可以下载在大量文本上训练的预训练词向量 […] 训练方案和底层语料库的差异对所得表示有很强的影响，并且可用的预训练表示可能不是[您]特定用例的最佳选择。

—— 第 135 页，《神经 网络 方法 在 自然 语言 处理》，2017。

何时使用迁移学习？

迁移学习是一种优化，是一种节省时间或获得更好性能的捷径。

一般来说，在模型开发和评估之后，才会明显知道在某个领域使用迁移学习会带来好处。

Lisa Torrey 和 Jude Shavlik 在他们的迁移学习章节中描述了在使用迁移学习时可以寻找的三个潜在好处。

1. 更高的起点。源模型在改进模型之前的初始技能比其他情况更高。
2. 更高的斜率。源模型训练期间技能的提高率比其他情况更陡峭。
3. 更高的渐近线。训练模型的收敛技能比其他情况更好。

迁移可能改善学习的三种方式。
摘自“迁移学习”。

理想情况下，您会从成功的迁移学习应用中看到这三个好处。

如果您能够识别一个相关且数据充足的任务，并且您有资源为该任务开发模型并在您自己的问题上重用它，或者有一个可用的预训练模型可以作为您自己模型的起点，那么这是一种值得尝试的方法。

在某些数据量很少的问题上，迁移学习可以帮助您开发在没有迁移学习的情况下根本无法开发的熟练模型。

源数据或源模型的选择是一个开放性问题，可能需要领域专业知识和/或通过经验获得的直觉。

进一步阅读

如果您想深入了解，本节提供了更多关于该主题的资源。

教程

• 如何在使用卷积神经网络模型开发时使用迁移学习
• 如何使用预训练的 VGG 模型对照片中的对象进行分类
• 如何通过迁移学习提高深度学习神经网络的性能

书籍

• 深度学习, 2016.
• 自然语言处理中的神经网络方法, 2017.

论文

• 迁移学习调查, 2010.
• 第 11 章：迁移学习，《机器学习应用研究手册》，2009。
• 深度神经网络中的特征有多可迁移？

预训练模型

• 牛津 VGG 模型
• 谷歌 Inception 模型
• 微软 ResNet 模型
• 谷歌的 word2vec 模型
• 斯坦福的 GloVe 模型
• Caffe Model Zoo

文章

• 维基百科上的迁移学习
• 迁移学习——机器学习的下一个前沿, 2017.
• 迁移学习，CS231n 视觉识别卷积神经网络
• 迁移学习是如何工作的？在 Quora 上

总结

在本文中，您了解了如何使用迁移学习来加速训练并提高深度学习模型的性能。

具体来说，你学到了：

• 什么是迁移学习以及它在深度学习中的应用。
• 何时使用迁移学习。
• 迁移学习在计算机视觉和自然语言处理任务中的应用示例。

你有什么问题吗？
在下面的评论中提出你的问题，我会尽力回答。

立即开发用于视觉的深度学习模型！

在几分钟内开发您自己的视觉模型

...只需几行python代码

在我的新电子书中探索如何实现
用于计算机视觉的深度学习

它提供关于以下主题的自学教程：
分类、物体检测（YOLO和R-CNN）、人脸识别（VGGFace和FaceNet）、数据准备等等……

最终将深度学习引入您的视觉项目

跳过学术理论。只看结果。

查看内容