在 Python 中将 Keras 深度学习模型与 Scikit-Learn 结合使用

Keras是Python中最受欢迎的深度学习库之一，因其简洁和易用性而广泛应用于研究和开发。

Scikit-learn库是Python中最流行的通用机器学习库。

在这篇文章中，您将了解如何将Keras的深度学习模型与Python中的scikit-learn库一起使用。

这将使您能够利用scikit-learn库的强大功能来执行诸如模型评估和模型超参数优化之类的任务。

开始您的项目，阅读我的新书《Python深度学习》，其中包括分步教程和所有示例的Python源代码文件。

让我们开始吧。

• 2016年5月：原始帖子
• 2016年10月更新：为Keras 1.1.0和scikit-learn v0.18更新了示例。
• 2017年1月更新：修复了网格搜索结果打印中的一个错误。
• 2017 年 3 月更新：针对 Keras 2.0.2、TensorFlow 1.0.1 和 Theano 0.9.0 更新了示例。
• **2018 年 3 月更新**：添加了下载数据集的备用链接，因为原始链接似乎已被删除。
• 2022年6月更新：为TensorFlow 2.x和SciKeras更新了代码。

在Python中使用Keras深度学习模型与scikit-learn
照片作者：Alan Levine，保留部分权利。

概述

Keras是Python中流行的深度学习库，但该库的重点是深度学习模型。事实上，它力求简洁，只关注您快速、简单地定义和构建深度学习模型所需的内容。

Python中的scikit-learn库建立在SciPy堆栈之上，用于高效的数值计算。它是一个功能齐全的通用机器学习库，并在开发深度学习模型方面提供了许多有用的实用程序。其中最重要的是

• 使用重采样方法（如k折交叉验证）评估模型
• 模型超参数的高效搜索和评估

曾经有一个TensorFlow/Keras库中的包装器，可以将深度学习模型用作scikit-learn中的分类或回归估计器。但最近，这个包装器被移出，成为一个独立的Python模块。

在接下来的部分中，您将通过示例学习如何使用KerasClassifier包装器来处理在Keras中创建并在scikit-learn库中使用的分类神经网络。

测试问题是Pima印第安人糖尿病发病分类数据集。这是一个小数据集，所有属性都是数值型的，易于处理。下载数据集并将其放在当前工作目录中，文件名为pima-indians-diabetes.csv （更新：从此处下载）。

以下示例假定您已成功安装TensorFlow 2.x、SciKeras和scikit-learn。如果您使用pip系统来管理Python模块，则可以使用以下命令安装它们：

使用交叉验证评估深度学习模型

SciKeras中的KerasClassifier和KerasRegressor类接受一个名为model的参数，该参数是要调用的用于获取模型的函数名称。

您必须定义一个函数（名称随意），该函数定义模型、编译模型并返回模型。

在下面的示例中，您将定义一个名为create_model()的函数，该函数为问题创建一个简单的多层神经网络。

您通过model参数将此函数名称传递给KerasClassifier类。您还传递了额外的参数nb_epoch=150和batch_size=10。这些参数会自动打包并传递给fit()函数，该函数由KerasClassifier类在内部调用。

在此示例中，您将使用scikit-learn的StratifiedKFold执行10折分层交叉验证。这是一种重采样技术，可以提供对机器学习模型在未见过数据上性能的稳健估计。

接下来，使用scikit-learn函数cross_val_score()通过交叉验证方案评估您的模型并打印结果。

注意：您的结果可能有所不同，这取决于算法或评估程序的随机性，或者数值精度的差异。请尝试运行示例几次，并比较平均结果。

运行该示例将显示模型每个时期的性能。总共创建和评估了10个模型，并显示了最终的平均准确率。

相比之下，以下是使用scikit-learn中的神经网络模型的等效实现：

KerasClassifier的作用是作为一个适配器，使Keras模型能够像scikit-learn的MLPClassifier对象一样工作。

网格搜索深度学习模型参数

前面的示例展示了如何轻松地包装Keras的深度学习模型并在scikit-learn库的函数中使用它。

在这个例子中，您将更进一步。您在创建KerasClassifier包装器时传递给model参数的函数可以接受参数。您可以使用这些参数来进一步定制模型的构建。此外，您知道可以向fit()函数提供参数。

在这个例子中，您将使用网格搜索来评估您的神经网络模型的不同配置，并报告能提供最佳估计性能的组合。

create_model()函数被定义为接受两个参数：optimizer和init，两者都必须有默认值。这将允许您评估使用不同的优化算法和权重初始化方案对网络的影响。

在创建模型之后，定义您希望搜索的参数值的数组，特别是：

• 用于搜索不同权重值的优化器
• 用于使用不同方案准备网络权重的初始化器
• 用于在不同数量的训练数据集暴露下训练模型的时期数
• 用于在权重更新之前改变样本数量的批次大小

选项被指定在一个字典中，并传递给GridSearchCV scikit-learn类的配置。该类将评估您的神经网络模型的一个版本，针对每个参数组合（优化器、初始化、时期和批次的组合为2 x 3 x 3 x 3）。然后，使用默认的3折分层交叉验证来评估每个组合。

这涉及到大量的模型和大量的计算。由于所需时间，您不应该轻易使用这种方案。对于您来说，设计小规模的实验，使用较小的数据子集，以便在合理的时间内完成，可能会很有用。在这种情况下，这是合理的，因为网络和数据集都比较小（不到1000个实例和九个属性）。

最后，将显示最佳模型的性能和配置组合，然后是所有参数组合的性能。

请注意，在字典param_grid中，model__init被用作我们create_model()函数的init参数的键。前缀model__对于SciKeras中的KerasClassifier模型是必需的，以便提供自定义参数。

在CPU（而不是GPU）上执行时，这可能需要大约5分钟才能在您的工作站上完成。运行该示例显示了下面的结果。

注意：您的结果可能有所不同，这取决于算法或评估程序的随机性，或者数值精度的差异。请尝试运行示例几次，并比较平均结果。

您可以看到，网格搜索发现，使用均匀初始化方案、rmsprop优化器、150个时期和10个批次大小，在此问题上实现了最佳交叉验证分数，约为77%。

有关使用Keras进行超参数调优的更完整示例，请参阅教程

• 如何在 Python 中使用 Keras 对深度学习模型进行超参数网格搜索

总结

在这篇文章中，您学习了如何包装Keras深度学习模型并在scikit-learn通用机器学习库中使用它们。

您可以看到，使用scikit-learn执行模型评估和模型超参数优化等标准机器学习操作，可以比自己实现这些方案节省大量时间。

包装您的模型使您能够利用scikit-learn的强大工具，将深度学习模型融入到您的通用机器学习流程中。

您对在scikit-learn中使用Keras模型或对本文有任何疑问吗？请在评论中提出您的问题，我将尽力回答。