在Keras中评估深度学习模型的性能

Keras 是一个易于使用且功能强大的 Python 深度学习库。

在设计和配置深度学习模型时，需要做出许多决策。其中许多决策必须通过试错和在真实数据上进行评估来经验性地解决。

因此，拥有一个稳健的方法来评估神经网络和深度学习模型的性能至关重要。

在本帖中，您将了解使用 Keras 评估模型性能的几种方法。

通过我新书《Python 深度学习》启动您的项目，其中包含分步教程和所有示例的Python 源代码文件。

让我们开始吧。

• 2016 年 5 月：原始帖子
• 2016 年 10 月更新：更新了 Keras 1.1.0 和 scikit-learn v0.18 的示例
• 2017 年 3 月更新：更新了 Keras 2.0.2、TensorFlow 1.0.1 和 Theano 0.9.0 的示例
• 2018 年 3 月更新：添加了下载数据集的备用链接，因为原始链接似乎已被删除
• 2022 年 6 月更新：更新为 TensorFlow 2.x 语法

评估 Keras 中深度学习模型的性能
照片作者：Thomas Leuthard，部分权利保留。

经验性评估网络配置

在设计和配置深度学习模型时，您必须做出无数的决策。

许多这些决策可以通过模仿他人的网络结构和使用启发式方法来解决。最终，最好的技术是进行小型实验，并通过真实数据经验性地评估问题。

这包括关于网络中层数、大小和类型等高级决策。它还包括诸如损失函数、激活函数、优化过程以及训练轮数的选择等低级决策。

深度学习通常用于具有非常大的数据集的问题。即成千上万甚至数十万个实例。

因此，您需要一个强大的测试平台，该平台允许您估计给定配置在未见过的数据上的性能，并可靠地将性能与其他配置进行比较。

数据分割

大量的数据和模型的复杂性需要很长的训练时间。

因此，通常将数据分为训练集和测试集，或训练集和验证集。

Keras 提供了两种便捷的方法来评估您的深度学习算法。

1. 使用自动验证数据集
2. 使用手动验证数据集

使用自动验证数据集

Keras 可以将您的训练数据的一部分分离为验证数据集，并在每个 epoch 中在该验证数据集上评估模型的性能。

您可以通过将 fit() 函数上的 validation_split 参数设置为训练数据集大小的百分比来执行此操作。

例如，一个合理的值可能是 0.2 或 0.33，分别表示 20% 或 33% 的训练数据留作验证。

下面的示例演示了在小型二元分类问题上使用自动验证数据集。本帖中的所有示例都使用了Pima 印度人发病糖尿病数据集。您可以从 UCI 机器学习存储库下载，并将数据文件保存在当前工作目录中，文件名为 pima-indians-diabetes.csv（更新：从这里下载）。

注意：由于算法或评估过程的随机性，或数值精度的差异，您的结果可能会有所不同。请尝试运行示例几次并比较平均结果。

运行示例，您可以看到每个 epoch 的详细输出显示了训练集和验证集上的损失和准确率。

使用手动验证数据集

Keras 还允许您手动指定用于训练期间验证的数据集。

在此示例中，您可以使用 Python scikit-learn 机器学习库中方便的 train_test_split() 函数将数据分成训练集和测试集。使用 67% 的数据进行训练，其余 33% 用于验证。

验证数据集可以通过 Keras 中的 validation_data 参数传递给 fit() 函数。它接受输入和输出数据集的元组。

注意：由于算法或评估过程的随机性，或数值精度的差异，您的结果可能会有所不同。请尝试运行示例几次并比较平均结果。

与之前一样，运行示例会提供详细的训练输出，其中包括每个 epoch 的模型在训练集和验证集上的损失和准确率。

手动 k 折交叉验证

机器学习模型评估的黄金标准是k 折交叉验证。

它提供了模型在未见过数据上性能的稳健估计。它通过将训练数据集分成 k 个子集，轮流在除一个子集（留出）之外的所有子集上训练模型，并在留出的验证数据集上评估模型性能来实现。该过程重复进行，直到所有子集都有机会成为留出的验证集。然后对创建的所有模型进行平均性能度量。

理解交叉验证意味着估计模型设计（例如，3 层与 4 层神经网络）而不是特定的拟合模型。您不希望使用特定数据集来拟合模型并比较结果，因为这可能由于该特定数据集更好地拟合一个模型设计。相反，您希望使用多个数据集进行拟合，从而产生相同设计的多个拟合模型，并取平均性能度量进行比较。

由于计算成本较高，交叉验证通常不用于评估深度学习模型。例如，k 折交叉验证通常与 5 或 10 折一起使用。因此，必须构建和评估 5 个或 10 个模型，这会显著增加模型评估时间。

尽管如此，当问题足够小时，或者当您有足够的计算资源时，k 折交叉验证可以为您提供对模型性能的偏差更小的估计。

在下面的示例中，您将使用 scikit-learn Python 机器学习库中方便的 StratifiedKFold 类将训练数据集分成 10 折。这些折是分层的，这意味着算法会尝试平衡每个折中每个类的实例数量。

该示例创建并评估了 10 个模型，使用了 10 个数据分割，并收集了所有分数。通过将 fit() 和 evaluate() 函数上的 verbose=0 参数传递给模型，可以关闭每个 epoch 的详细输出。

为每个模型打印性能，并将其存储起来。然后，在运行结束时打印模型性能的平均值和标准差，以提供模型准确率的稳健估计。

注意：由于算法或评估过程的随机性，或数值精度的差异，您的结果可能会有所不同。请尝试运行示例几次并比较平均结果。

运行示例将花费不到一分钟的时间，并会产生以下输出

总结

在本帖中，您了解了拥有一个稳健的方法来估计深度学习模型在未见过数据上的性能的重要性。

您了解了使用 Keras 库在 Python 中估计深度学习模型性能的三种方法：

• 使用自动验证数据集
• 使用手动验证数据集
• 使用手动 k 折交叉验证

您对 Keras 深度学习或本帖有任何疑问吗？请在评论中提问，我会尽力回答。