如何在 Keras 中使用小实验开发图像标题生成模型

图像描述生成是一个具有挑战性的人工智能问题，需要为照片生成文本描述。

它需要计算机视觉方法来理解图像内容，还需要自然语言处理领域的语言模型将图像理解转化为正确顺序的词语。最近，深度学习方法在此类问题上取得了最先进的成果。

开发自己的图像描述生成模型可能很困难，主要是因为数据集和模型都非常庞大，需要数天才能训练完成。一种替代方法是使用完整数据集的一小部分样本来探索模型配置。

在本教程中，您将了解如何使用标准照片描述数据集的一小部分样本来探索不同的深度模型设计。

完成本教程后，您将了解：

• 如何为照片描述建模准备数据。
• 如何设计基线和测试工具来评估模型的技能并控制其随机性。
• 如何评估模型技能、特征提取模型和词嵌入等属性，以提升模型技能。

通过我的新书《深度学习自然语言处理》**启动您的项目**，其中包括所有示例的**分步教程**和 **Python 源代码**文件。

让我们开始吧。

• 2019 年 4 月/2 月：提供了 Flickr8k_Dataset 数据集的直接链接，因为官方网站已下线。

如何在 Keras 中使用小实验开发图像标题生成模型
照片由 Per 拍摄，保留部分权利。

教程概述

本教程分为6个部分；它们是

1. 数据准备
2. 基线描述生成模型
3. 网络大小参数
4. 配置特征提取模型
5. 词嵌入模型
6. 结果分析

Python 环境

本教程假设您已安装 Python SciPy 环境，最好是 Python 3。

您必须安装 Keras（2.0 或更高版本），并使用 TensorFlow 或 Theano 后端。

本教程还假设您已安装 scikit-learn、Pandas、NumPy 和 Matplotlib。

如果您需要环境方面的帮助，请参阅本教程

• 如何使用 Anaconda 设置用于机器学习和深度学习的 Python 环境

我建议在具有 GPU 的系统上运行代码。

您可以在 Amazon Web Services 上廉价访问 GPU。在本教程中了解如何操作

• 如何在 Amazon Web Services 上使用 Keras 开发和评估大型深度学习模型

让我们开始吧。

数据准备

首先，我们需要准备数据集以训练模型。

我们将使用 Flickr8K 数据集，它包含 8,000 多张照片及其描述。

您可以从此处下载数据集

• 将图像描述框定为排名任务：数据、模型和评估指标.

更新（2019 年 4 月）：官方网站似乎已下线（尽管表格仍然有效）。以下是我 GitHub 存储库中一些直接下载链接

• Flickr8k_Dataset.zip
• Flickr8k_text.zip

将照片和描述分别解压缩到当前工作目录的 `Flicker8k_Dataset` 和 `Flickr8k_text` 目录中。

数据准备分为两个部分：

1. 准备文本
2. 准备照片

准备文本

数据集包含每张照片的多个描述，并且描述文本需要进行一些基本的清理。

首先，我们将加载包含所有描述的文件。

每张照片都有一个唯一的标识符。此标识符用于照片文件名和描述文本文件中。接下来，我们将遍历照片描述列表，并保存每张照片的第一个描述。下面定义了一个名为 `load_descriptions()` 的函数，该函数在给定已加载文档文本的情况下，将返回一个从照片标识符到描述的字典。

接下来，我们需要清理描述文本。

描述已被分词，易于处理。我们将以下列方式清理文本，以减少我们需要处理的词汇量：

• 将所有单词转换为小写。
• 删除所有标点符号。
• 删除所有长度为一个字符或更短的单词（例如“a”）。

下面定义了 `clean_descriptions()` 函数，该函数给定图像标识符到描述的字典，遍历每个描述并清理文本。

最后，我们将图像标识符和描述的字典保存到一个名为 `descriptions.txt` 的新文件中，每行一个图像标识符和描述。

下面定义了 `save_doc()` 函数，该函数给定包含标识符到描述映射的字典和文件名，将映射保存到文件。

综合以上所有代码，完整列表如下。

运行示例后，首先会打印加载的照片描述数量 (8,092) 和清理后的词汇表大小 (4,484 个单词)。

清理后的描述随后被写入“`descriptions.txt`”文件。查看文件，我们可以看到描述已准备好进行建模。

查看文件，我们可以看到描述已准备好进行建模。

准备照片

我们将使用预训练模型来解释照片内容。

有许多模型可供选择。在这种情况下，我们将使用牛津视觉几何组 (Oxford Visual Geometry Group) 或 VGG 模型，该模型赢得了 2014 年 ImageNet 竞赛。在此处了解更多有关该模型的信息

• 用于大规模视觉识别的非常深层卷积网络

Keras 直接提供了这个预训练模型。请注意，第一次使用此模型时，Keras 将从互联网下载模型权重，大约 500 兆字节。这可能需要几分钟，具体取决于您的互联网连接速度。

我们可以将此模型作为更广泛的图像描述模型的一部分。问题是，它是一个大型模型，每次我们想要测试新的语言模型配置（下游）时，都要让每张照片通过网络，这是多余的。

相反，我们可以使用预训练模型预先计算“照片特征”并将其保存到文件中。然后，我们可以在以后加载这些特征，并将它们作为数据集中给定照片的解释输入到我们的模型中。这与将照片通过完整的 VGG 模型运行没有什么不同，只是我们提前完成了一次。

这是一种优化，将使我们的模型训练更快并消耗更少的内存。

我们可以在 Keras 中使用 VGG 类加载 VGG 模型。我们将加载不带顶部的模型；这意味着不带网络末端用于解释从输入中提取的特征并将其转换为类别预测的层。我们对图像的网络分类不感兴趣，我们将训练我们自己对图像特征的解释。

Keras 还提供了将加载的照片重塑为模型首选大小（例如 3 通道 224 x 224 像素图像）的工具。

下面是一个名为 `extract_features()` 的函数，它给定一个目录名，将加载每张照片，为其准备 VGG，并从 VGG 模型中收集预测特征。图像特征是一个形状为 (7, 7, 512) 的 3 维数组。

该函数返回一个从图像标识符到图像特征的字典。

我们可以调用此函数来准备照片数据以测试我们的模型，然后将生成的字典保存到名为“`features.pkl`”的文件中。

完整的示例如下所示。

根据您的硬件情况，此数据准备步骤可能需要一段时间，在配备现代工作站的 CPU 上可能需要一个小时。

运行结束时，您将获得存储在“`features.pkl`”中的提取特征，以备后用。

基线描述生成模型

在本节中，我们将定义一个用于生成照片描述的基线模型，以及如何评估它，以便将其与该基线的变体进行比较。

本节分为 5 个部分

1. 加载数据。
2. 拟合模型。
3. 评估模型。
4. 完整示例
5. “A”与“A”测试
6. 生成照片描述

1. 加载数据

我们不会在所有字幕数据上训练模型，甚至不会在大量数据样本上训练模型。

在本教程中，我们旨在快速测试一套不同配置的字幕模型，以了解在此数据上哪些有效。这意味着模型配置的评估需要快速完成。为此，我们将在 100 张照片和字幕上训练模型，然后在其训练数据集和 100 张照片和字幕的新测试集上进行评估。

首先，我们需要加载预定义的照片子集。提供的数据集有单独的训练集、测试集和开发集，它们实际上只是不同的照片标识符组。我们将加载开发集，并使用前 100 个标识符作为训练集，后 100 个标识符（例如从 100 到 200）作为测试集。

下面的函数 `load_set()` 将加载一组预定义的标识符，我们将以“`Flickr_8k.devImages.txt`”文件名作为参数调用它。

接下来，我们需要将集合分成训练集和测试集。

我们将首先对标识符进行排序，以确保它们在不同机器和运行中始终保持一致的分裂，然后将前 100 个用于训练，接下来的 100 个（例如从 100 到 200）用于测试。

下面的 `train_test_split()` 函数将根据加载的标识符集合创建此划分。

现在，我们可以使用预定义的训练或测试标识符集加载照片描述。

下面是 `load_clean_descriptions()` 函数，它从 `descriptions.txt` 中加载给定标识符集的清理文本描述，并返回一个标识符到文本的字典。

我们将开发的模型将根据一张照片生成一个描述，并且该描述将一次生成一个单词。先前生成的单词序列将作为输入提供。因此，我们需要一个“`first word`”来启动生成过程，以及一个“`last word`”来表示描述的结束。我们将为此目的使用字符串“`startseq`”和“`endseq`”。

接下来，我们可以为给定的数据集加载照片特征。

下面定义了一个名为 `load_photo_features()` 的函数，该函数加载所有照片描述的完整集合，然后返回给定照片标识符集合中感兴趣的子集。这不是很高效，因为加载的所有照片特征字典大约有 700 兆字节。尽管如此，这将使我们能够快速启动和运行。

注意：如果您有更好的方法，请在下面的评论中分享。

我们可以在这里暂停，测试到目前为止开发的所有内容。

完整的代码示例如下所示。

运行此示例首先加载开发数据集中1,000个图片标识符。选择一个训练集和测试集，并用它们来过滤干净的图片描述集和准备好的图像特征。

我们快要完成了。

描述文本需要先编码成数字，然后才能作为输入呈现给模型，或者与模型的预测进行比较。

编码数据的第一步是创建一个从单词到唯一整数值的一致映射。Keras提供了Tokenizer类，可以从加载的描述数据中学习这个映射。

下面定义了`create_tokenizer()`函数，它将根据加载的图片描述文本来拟合一个Tokenizer。

我们现在可以对文本进行编码了。

每个描述都将被分成单词。模型将接收一个单词和图片作为输入，并生成下一个单词。然后，描述的前两个单词将与图片一起作为输入提供给模型，以生成下一个单词。这就是模型训练的方式。

例如，输入序列“小女孩在田野里奔跑”将被分成6个输入-输出对来训练模型：

稍后当模型用于生成描述时，生成的词将被连接起来，并递归地作为输入提供，以生成图像的标题。

下面的`create_sequences()`函数，给定分词器、一个干净的描述、一张照片的特征和最大描述长度，将为模型训练准备一组输入-输出对。调用此函数将返回`X1`和`X2`（用于图像数据和输入序列数据的数组）以及`y`值（用于输出词）。

输入序列被整数编码，输出词被独热编码，以表示预期词在所有可能词汇中的概率分布。

2. 拟合模型

我们快要准备好拟合模型了。

模型的一部分已经讨论过了，但让我们再重申一下。

该模型基于论文“Show and Tell: A Neural Image Caption Generator”（2015年）中提出的示例。

该模型包含三个部分：

• 图片特征提取器。这是一个在ImageNet数据集上预训练的16层VGG模型。我们已经使用VGG模型（不包括顶部层）对照片进行了预处理，并将使用该模型预测的提取特征作为输入。
• 序列处理器。这是一个用于处理文本输入的词嵌入层，后跟一个LSTM层。LSTM的输出由一个Dense层一次一个输出地解释。
• 解释器（暂无更好的名称）。特征提取器和序列处理器都输出一个固定长度的向量，其长度是最大序列的长度。这些向量被连接在一起，然后经过一个LSTM和Dense层处理，最后进行最终预测。

基础模型中使用了保守数量的神经元。具体来说，特征提取器之后是一个128的Dense层，一个50维的词嵌入，接着是一个256单元的LSTM和序列处理器之后一个128神经元的Dense层，最后在网络末端是一个500单元的LSTM，接着是一个500神经元的Dense层。

该模型预测词汇表上的概率分布，因此在拟合网络时使用softmax激活函数并最小化分类交叉熵损失函数。

函数`define_model()`根据词汇表大小和照片描述的最大长度定义了基线模型。Keras函数式API用于定义模型，因为它提供了定义一个接受两个输入流并将其组合的模型所需的灵活性。

为了了解模型的结构，特别是层的形状，请参阅下面的摘要。

我们还创建了一个图来可视化网络结构，这有助于更好地理解两个输入流。

基线字幕深度学习模型图

我们将使用数据生成器来训练模型。这并非严格要求，因为字幕和提取的照片特征可能作为单个数据集存储在内存中。然而，当您在整个数据集上训练最终模型时，这是一个很好的实践。

生成器在被调用时会产生一个结果。在Keras中，它会产生一个单一批次的输入-输出样本，用于估计误差梯度和更新模型权重。

函数`data_generator()`定义了数据生成器，给定已加载照片描述的字典、照片特征、用于整数编码序列的分词器以及数据集中最大序列长度。

生成器会无限循环，并在需要时不断生成批次的输入-输出对。我们还有一个`n_step`参数，它允许我们调整每个批次要生成多少张图像的输入-输出对。平均序列有10个单词，即10个输入-输出对，一个好的批次大小可能是30个样本，大约是2到3张图像的量。

可以通过调用`fit_generator()`并将数据生成器以及所有必要的参数传递给它来拟合模型。在拟合模型时，我们还可以指定每个 epoch 运行的批次数和 epoch 的数量。

在这些实验中，我们将使用每批2张图片，每个epoch 50批（即100张图片），以及50个训练epoch。您可以在自己的实验中尝试不同的配置。

3. 评估模型

现在我们知道了如何准备数据和定义模型，我们必须定义一个测试工具来评估给定的模型。

我们将通过以下方式评估模型：在数据集上训练模型，为训练数据集中所有照片生成描述，使用成本函数评估这些预测，然后多次重复此评估过程。

结果将是模型技能分数的分布，我们可以通过计算平均值和标准差来总结。这是评估深度学习模型的首选方法。请参阅此帖子。

• 如何评估深度学习模型的技能

首先，我们需要能够使用训练好的模型为照片生成描述。

这涉及传入起始描述标记“`startseq`”，生成一个单词，然后递归调用模型，以生成的单词作为输入，直到达到序列结束标记“`endseq`”或达到最大描述长度。

下面名为`generate_desc()`的函数实现了这种行为，给定一个训练好的模型和准备好的照片作为输入，它会生成文本描述。它调用`word_for_id()`函数将整数预测映射回单词。

我们将为训练数据集和测试数据集中的所有照片生成预测。

下面名为 evaluate_model() 的函数将根据给定的照片描述和照片特征数据集评估训练过的模型。实际和预测的描述将使用语料库BLEU分数进行收集和集体评估，该分数总结了生成的文本与预期文本的接近程度。

BLEU 分数用于文本翻译中，以评估翻译文本与一个或多个参考翻译的对比。实际上，我们确实可以访问每个图像的多个参考描述，可以进行比较，但为了简单起见，我们将使用数据集中每张照片的第一个描述（例如，清理后的版本）。

您可以在这里了解有关 BLEU 分数的更多信息

• 维基百科上的 BLEU（双语评估替补）

NLTK Python 库在 corpus_bleu() 函数中实现了 BLEU 分数计算。分数越高越好，接近 1.0 的分数更好，接近零的分数更差。

最后，我们只需在循环中多次定义、拟合和评估模型，然后报告最终的平均分数。

理想情况下，我们应该重复实验 30 次或更多次，但这对于我们的小型测试工具来说太耗时了。相反，我们将评估模型 3 次。它会更快，但平均分数会有更高的方差。

下面定义了模型评估循环。运行结束时，训练集和测试集的 BLEU 分数分布将保存到文件中。

我们将运行参数化如下，允许我们命名每次运行并将结果保存到单独的文件中。

4. 完整示例

完整的示例如下所示。