如何在 Keras 中检查点深度学习模型

深度学习模型可能需要数小时、数天甚至数周才能训练完成。

如果训练意外中断，您可能会损失大量工作。

在本篇博文中，您将学习如何在 Keras 库中使用 Python 在训练过程中对深度学习模型进行检查点（checkpointing）。

开启您的项目，阅读我的新书《Python 深度学习》，书中包含分步教程以及所有示例的Python 源代码文件。

让我们开始吧。

• 2016 年 6 月：首次发布
• 2017 年 3 月更新：更新至 Keras 2.0.2、TensorFlow 1.0.1 和 Theano 0.9.0
• 2018年3月更新：添加了下载数据集的备用链接
• 2019 年 9 月更新：更新至 Keras 2.2.5 API
• 2019 年 10 月更新：已更新至 Keras 2.3.0 API
• 更新于 2022 年 7 月：已更新为 TensorFlow 2.x API，并提及了 EarlyStopping。

如何在 Keras 中对深度学习模型进行检查点
照片由 saragoldsmith 提供，部分权利保留。

检查点神经网络模型

应用程序检查点是一种用于长时间运行进程的容错技术。

在这种方法中，会捕获系统状态的快照，以防系统发生故障。如果出现问题，并非所有东西都会丢失。检查点可以直接使用，也可以作为新运行的起点，从中恢复。

在训练深度学习模型时，检查点保存在模型的权重中。这些权重可用于直接进行预测，或作为继续训练的基础。

Keras 库通过回调 API 提供了检查点功能。

ModelCheckpoint 回调类允许您定义检查点模型权重的存储位置、文件名命名方式以及在何种情况下创建模型检查点。

该 API 允许您指定要监控的指标，例如训练集或验证集上的损失或准确率。您可以指定是寻求最大化还是最小化得分的改进。最后，用于存储权重的文件名可以包含变量，如轮次（epoch）或指标。

然后，在调用模型的 `fit()` 函数时，可以将 `ModelCheckpoint` 传递给训练过程。

请注意，您可能需要安装 h5py 库才能以 HDF5 格式输出网络权重。

检查点神经网络模型改进

检查点的一个好用途是在训练过程中每次观察到改进时输出模型权重。

以下示例为 Pima 印第安人糖尿病发病率二分类问题创建了一个小型神经网络。该示例假定 `pima-indians-diabetes.csv` 文件位于您的工作目录中。

您可以从此处下载数据集

• Pima 印第安人糖尿病数据集

该示例使用 33% 的数据进行验证。

检查点设置为仅在验证集上的分类准确率有所提高时保存网络权重（`monitor='val_accuracy'` 且 `mode='max'`）。权重将存储在包含得分的文件中（`weights-improvement-{val_accuracy=.2f}.hdf5`）。

注意：您的结果可能会有所不同，这取决于算法或评估过程的随机性，或者数值精度的差异。请考虑运行几次示例并比较平均结果。

运行该示例会产生以下输出（为简洁起见已截断）

您会在您的工作目录中看到许多包含 HDF5 格式网络权重的文件。例如：

这是一个非常简单的检查点策略。

如果验证准确率在训练轮次中上下波动，这可能会创建许多不必要的检查点文件。尽管如此，它仍将确保您拥有运行过程中发现的最佳模型的快照。

仅检查点最佳神经网络模型

一个更简单的检查点策略是，仅当验证准确率提高时，将模型权重保存到同一个文件。

通过使用与上面相同的代码，并将输出文件名更改为固定名称（不包含得分或轮次信息），即可轻松实现这一点。

在这种情况下，只有当模型在验证集上的分类准确率高于迄今为止看到的最佳准确率时，模型权重才会写入文件 “weights.best.hdf5”。

注意：您的结果可能会有所不同，这取决于算法或评估过程的随机性，或者数值精度的差异。请考虑运行几次示例并比较平均结果。

运行此示例将产生以下输出（为简洁起见已截断）

您应该在本地目录中看到权重文件。

这是您在实验中始终使用的便捷的检查点策略。

它将确保您的最佳模型在运行过程中被保存，以便您以后按需使用。它避免了在训练时需要包含任何代码来手动跟踪和序列化最佳模型。

将 EarlyStopping 与 Checkpoint 一起使用

在上面的示例中，尝试了使用 150 个轮次来拟合模型。实际上，很难确定需要训练模型多少个轮次。解决此问题的一种方法是高估轮次的数量。但这可能会花费大量时间。毕竟，如果您只检查点最佳模型，您可能会发现，在运行数千个轮次后，您已经在前一百个轮次中获得了最佳模型，并且之后不再进行检查点。

将 `ModelCheckpoint` 回调与 `EarlyStopping` 一起使用是很常见的。它有助于在连续多个轮次没有指标改进时停止训练。以下示例添加了回调 `es`，使训练在连续五个轮次未观察到验证准确率提高后提前停止。

注意：您的结果可能会有所不同，这取决于算法或评估过程的随机性，或者数值精度的差异。请考虑运行几次示例并比较平均结果。

运行此示例将产生以下输出

此训练过程在第 22 轮结束后停止，因为在最后五个轮次中没有取得更好的准确率。

加载检查点神经网络模型

现在您已经了解了如何在训练过程中检查点深度学习模型，接下来需要回顾如何加载和使用检查点模型。

检查点仅包含模型权重。它假定您知道网络结构。模型结构也可以被序列化为 JSON 或 YAML 格式的文件。

在下面的示例中，模型结构是已知的，并且最佳权重已从之前的实验中加载，这些权重存储在工作目录中的 `weights.best.hdf5` 文件中。

然后，该模型用于对整个数据集进行预测。

注意：您的结果可能会有所不同，这取决于算法或评估过程的随机性，或者数值精度的差异。请考虑运行几次示例并比较平均结果。

运行此示例将产生以下输出

总结

在本篇博文中，您发现了对长时间运行的深度学习模型进行检查点的重要性。

您学习了两种可以在下一个深度学习项目中使用的检查点策略：

1. 检查点模型改进
2. 仅检查点最佳模型

您还学习了如何加载检查点模型并进行预测。

您对检查点深度学习模型或本文有任何疑问吗？在评论中提问，我会尽力回答。