留一法交叉验证（Leave-One-Out Cross-Validation），简称 **LOOCV**，是一种用于估计机器学习算法在对未用于训练模型的数据进行预测时的性能的过程。
这是一个计算量很大的过程，尽管它能提供可靠且无偏的模型性能估计。虽然使用简单且无需配置，但有时不应使用此过程，例如当您拥有非常大的数据集或需要评估计算成本很高的模型时。
在本教程中，您将了解如何使用留一法交叉验证来评估机器学习模型。
完成本教程后，您将了解：
- 当您拥有小型数据集，或者模型性能的准确估计比方法的计算成本更重要时，留一法交叉验证过程是合适的。
- 如何使用 scikit-learn 机器学习库执行留一法交叉验证过程。
- 如何使用留一法交叉验证评估分类和回归的机器学习算法。
开始您的项目，阅读我的新书《Python 机器学习精通》，其中包含分步教程以及所有示例的Python 源代码文件。
让我们开始吧。
使用LOOCV评估机器学习算法
照片由 Heather Harvey 拍摄，保留部分权利。
教程概述
本教程分为三个部分；它们是：
- LOOCV 模型评估
- Scikit-Learn 中的 LOOCV 过程
- LOOCV 评估机器学习模型
- LOOCV 用于分类
- LOOCV 用于回归
LOOCV 模型评估
交叉验证，或 k 折交叉验证，是一种用于估计机器学习算法在对训练模型期间未使用的数据进行预测时的性能的过程。
交叉验证有一个单一的超参数“k”，它控制数据集被分割成的子集的数量。分割完成后，每个子集都有机会被用作测试集，而所有其他子集组合在一起用作训练数据集。
这意味着 k 折交叉验证涉及拟合和评估 *k* 个模型。这反过来提供了数据集上模型性能的 k 个估计，可以使用均值和标准差等摘要统计数据进行报告。然后可以使用此分数来比较并最终选择用于数据集的“最终模型”的模型和配置。
k 的典型值是 k=3、k=5 和 k=10，其中 10 是最常见的值。这是因为，经过广泛测试，10 折交叉验证在计算成本低和模型性能估计偏差低方面提供了良好的平衡，与其他 k 值和单一的训练-测试分割相比。
有关 k 折交叉验证的更多信息，请参阅教程
留一法交叉验证，或 LOOCV，是 k 折交叉验证的一种配置，其中 *k* 被设置为数据集中示例的数量。
LOOCV 是 k 折交叉验证的一种极端版本，具有最高的计算成本。它需要为训练数据集中每个示例创建一个模型并进行评估。
如此多的拟合和评估模型的优势在于，它提供了更稳健的模型性能估计，因为数据集中的每一行都有机会代表整个测试数据集。
考虑到计算成本，LOOCV 不适用于非常大的数据集，例如超过数十万或数十万个示例的数据集，或者成本高昂的模型（如神经网络）。
- 不要使用 LOOCV：大型数据集或拟合成本高的模型。
考虑到改进的模型性能估计，LOOCV 适用于模型性能估计至关重要的情况。尤其是在数据集很小（例如少于几千个示例）的情况下，这可能导致模型在训练期间过拟合，并导致模型性能估计存在偏差。
此外，由于未使用训练数据集的抽样，此估计过程是确定性的，与提供随机估计模型性能的训练-测试分割和其他 k 折交叉验证确认不同。
- 使用 LOOCV：小型数据集或模型性能估计至关重要时。
在通过 LOOCV 评估模型并选择最终模型和配置后，将使用所有可用数据拟合最终模型，并用于对新数据进行预测。
现在我们熟悉了 LOOCV 过程，让我们看看如何在 Python 中使用该方法。
Scikit-Learn 中的 LOOCV 过程
scikit-learn Python 机器学习库通过 LeaveOneOut 类提供了 LOOCV 的实现。
该方法没有配置，因此，在创建类的实例时无需提供参数。
|
1 2 3 |
... # 创建 loocv 过程 cv = LeaveOneOut() |
创建后，可以调用 *split()* 函数并提供要枚举的数据集。
每次迭代都会返回可用于提供数据集的训练集和测试集的行索引。
|
1 2 3 |
... for train_ix, test_ix in cv.split(X): ... |
这些索引可用于数据集数组的输入（*X*）和输出（*y*）列来分割数据集。
|
1 2 3 4 |
... # 分割数据 X_train, X_test = X[train_ix, :], X[test_ix, :] y_train, y_test = y[train_ix], y[test_ix] |
训练集可用于拟合模型，测试集可用于通过首先进行预测并计算预测值与预期值之间的性能指标来对其进行评估。
|
1 2 3 4 5 6 |
... # 拟合模型 model = RandomForestClassifier(random_state=1) model.fit(X_train, y_train) # 评估模型 yhat = model.predict(X_test) |
可以保存每次评估的分数，并报告最终的平均模型性能估计。
我们可以将它们结合起来，演示如何使用 LOOCV 在使用 make_blobs() 函数创建的合成二元分类数据集上评估 RandomForestClassifier 模型。
完整的示例如下所示。
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 |
# 使用 LOOCV 手动评估随机森林分类器的性能 from sklearn.datasets import make_blobs from sklearn.model_selection import LeaveOneOut from sklearn.ensemble import RandomForestClassifier from sklearn.metrics import accuracy_score # 创建数据集 X, y = make_blobs(n_samples=100, random_state=1) # 创建 loocv 过程 cv = LeaveOneOut() # 枚举划分 y_true, y_pred = list(), list() for train_ix, test_ix in cv.split(X): # 分割数据 X_train, X_test = X[train_ix, :], X[test_ix, :] y_train, y_test = y[train_ix], y[test_ix] # 拟合模型 model = RandomForestClassifier(random_state=1) model.fit(X_train, y_train) # 评估模型 yhat = model.predict(X_test) # 存储 y_true.append(y_test[0]) y_pred.append(yhat[0]) # 计算准确率 acc = accuracy_score(y_true, y_pred) print('Accuracy: %.3f' % acc) |
运行示例手动估算随机森林分类器在合成数据集上的性能。
鉴于数据集有 100 个示例，这意味着创建了 100 个训练/测试分割，数据集中每个单独的行都有机会被用作测试集。同样，创建并评估了 100 个模型。
然后报告了所有预测的分类准确率，在这种情况下为 99%。
|
1 |
准确率：0.990 |
手动枚举折的缺点是它很慢，并且涉及大量可能引入错误的代码。
使用 LOOCV 评估模型的替代方法是使用 cross_val_score() 函数。
此函数通过“cv”参数接收模型、数据集和实例化的 LOOCV 对象。然后返回一个准确率分数样本，可以通过计算均值和标准差来汇总。
我们还可以将“n_jobs”参数设置为 -1 以使用所有 CPU 核心，从而大大降低拟合和评估如此多模型的计算成本。
下面的示例演示了如何使用 *cross_val_score()* 函数在同一合成数据集上使用 LOOCV 评估 *RandomForestClassifier*。
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 |
# 使用 LOOCV 自动评估随机森林分类器的性能 from numpy import mean from numpy import std from sklearn.datasets import make_blobs from sklearn.model_selection import LeaveOneOut from sklearn.model_selection import cross_val_score from sklearn.ensemble import RandomForestClassifier # 创建数据集 X, y = make_blobs(n_samples=100, random_state=1) # 创建 loocv 过程 cv = LeaveOneOut() # 创建模型 model = RandomForestClassifier(random_state=1) # 评估模型 scores = cross_val_score(model, X, y, scoring='accuracy', cv=cv, n_jobs=-1) # 报告表现 print('Accuracy: %.3f (%.3f)' % (mean(scores), std(scores))) |
运行示例自动估算随机森林分类器在合成数据集上的性能。
所有折的平均分类准确率与我们之前的手动估算相符。
|
1 |
准确率：0.990 (0.099) |
现在我们熟悉了如何使用 LeaveOneOut 类，让我们看看如何使用它来评估真实数据集上的机器学习模型。
LOOCV 评估机器学习模型
在本节中，我们将探讨使用 LOOCV 过程在标准分类和回归预测建模数据集上评估机器学习模型。
LOOCV 用于分类
我们将演示如何使用 LOOCV 在声纳数据集上评估随机森林算法。
声纳数据集是一个标准的机器学习数据集，包含 208 行数据，具有 60 个数值输入变量和一个具有两个类别值的目标变量，例如二元分类。
该数据集涉及预测声纳回波是否指示岩石或模拟水雷。
无需下载数据集；我们将在工作示例中自动下载它。
下面的示例下载数据集并汇总其形状。
|
1 2 3 4 5 6 7 8 9 |
# 汇总声纳数据集 from pandas import read_csv # 加载数据集 url = 'https://raw.githubusercontent.com/jbrownlee/Datasets/master/sonar.csv' dataframe = read_csv(url, header=None) # 分割输入和输出元素 data = dataframe.values X, y = data[:, :-1], data[:, -1] print(X.shape, y.shape) |
运行此示例将下载数据集并将其拆分为输入和输出元素。正如预期的那样，我们可以看到有 208 行数据和 60 个输入变量。
|
1 |
(208, 60) (208,) |
现在我们可以使用 LOOCV 评估模型。
首先，加载的数据集必须分为输入和输出部分。
|
1 2 3 4 |
... # 分割输入和输出 X, y = data[:, :-1], data[:, -1] print(X.shape, y.shape) |
接下来，我们定义 LOOCV 过程。
|
1 2 3 |
... # 创建 loocv 过程 cv = LeaveOneOut() |
然后我们可以定义要评估的模型。
|
1 2 3 |
... # 创建模型 model = RandomForestClassifier(random_state=1) |
然后使用 *cross_val_score()* 函数来枚举折、拟合模型，然后进行预测和评估。然后我们可以报告模型性能的均值和标准差。
|
1 2 3 4 5 |
... # 评估模型 scores = cross_val_score(model, X, y, scoring='accuracy', cv=cv, n_jobs=-1) # 报告表现 print('Accuracy: %.3f (%.3f)' % (mean(scores), std(scores))) |
将这些结合起来，完整的示例列在下面。
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 |
# LOOCV 评估声纳数据集上的随机森林 from numpy import mean from numpy import std from pandas import read_csv from sklearn.model_selection import LeaveOneOut from sklearn.model_selection import cross_val_score from sklearn.ensemble import RandomForestClassifier # 加载数据集 url = 'https://raw.githubusercontent.com/jbrownlee/Datasets/master/sonar.csv' dataframe = read_csv(url, header=None) data = dataframe.values # 分割输入和输出 X, y = data[:, :-1], data[:, -1] print(X.shape, y.shape) # 创建 loocv 过程 cv = LeaveOneOut() # 创建模型 model = RandomForestClassifier(random_state=1) # 评估模型 scores = cross_val_score(model, X, y, scoring='accuracy', cv=cv, n_jobs=-1) # 报告表现 print('Accuracy: %.3f (%.3f)' % (mean(scores), std(scores))) |
运行示例首先加载数据集并确认输入和输出元素的行数。
注意：由于算法或评估程序的随机性，或者数值精度的差异，您的结果可能有所不同。可以考虑运行示例几次并比较平均结果。
然后使用 LOOCV 评估模型，在对新数据进行预测时的模型性能约为 82.2% 的准确率。
|
1 2 |
(208, 60) (208,) 准确率：0.822 (0.382) |
LOOCV 用于回归
我们将演示如何使用 LOOCV 在房价数据集上评估随机森林算法。
住房数据集是一个标准的机器学习数据集，包含 506 行数据，其中有 13 个数值输入变量和一个数值目标变量。
该数据集涉及根据美国波士顿郊区的房屋细节来预测房价。
无需下载数据集；我们将在工作示例中自动下载它。
下面的示例下载并加载数据集为 Pandas DataFrame，并汇总数据集的形状。
|
1 2 3 4 5 6 7 |
# 加载和汇总住房数据集 from pandas import read_csv # 加载数据集 url = 'https://raw.githubusercontent.com/jbrownlee/Datasets/master/housing.csv' dataframe = read_csv(url, header=None) # 总结形状 print(dataframe.shape) |
运行示例可确认数据集有 506 行和 13 个输入变量以及单个数字目标变量（共 14 个）。
|
1 |
(506, 14) |
现在我们可以使用 LOOCV 评估模型。
首先，加载的数据集必须分为输入和输出部分。
|
1 2 3 4 |
... # 分割输入和输出 X, y = data[:, :-1], data[:, -1] print(X.shape, y.shape) |
接下来，我们定义 LOOCV 过程。
|
1 2 3 |
... # 创建 loocv 过程 cv = LeaveOneOut() |
然后我们可以定义要评估的模型。
|
1 2 3 |
... # 创建模型 model = RandomForestRegressor(random_state=1) |
然后使用 *cross_val_score()* 函数来枚举折、拟合模型，然后进行预测和评估。然后我们可以报告模型性能的均值和标准差。
在这种情况下，我们使用适合回归的平均绝对误差（MAE）性能指标。
|
1 2 3 4 5 6 7 |
... # 评估模型 scores = cross_val_score(model, X, y, scoring='neg_mean_absolute_error', cv=cv, n_jobs=-1) # 强制为正数 scores = absolute(scores) # 报告表现 print('MAE: %.3f (%.3f)' % (mean(scores), std(scores))) |
将这些结合起来，完整的示例列在下面。
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 |
# LOOCV 评估房价数据集上的随机森林 from numpy import mean from numpy import std from numpy import absolute from pandas import read_csv from sklearn.model_selection import LeaveOneOut from sklearn.model_selection import cross_val_score from sklearn.ensemble import RandomForestRegressor # 加载数据集 url = 'https://raw.githubusercontent.com/jbrownlee/Datasets/master/housing.csv' dataframe = read_csv(url, header=None) data = dataframe.values # 分割输入和输出 X, y = data[:, :-1], data[:, -1] print(X.shape, y.shape) # 创建 loocv 过程 cv = LeaveOneOut() # 创建模型 model = RandomForestRegressor(random_state=1) # 评估模型 scores = cross_val_score(model, X, y, scoring='neg_mean_absolute_error', cv=cv, n_jobs=-1) # 强制为正数 scores = absolute(scores) # 报告表现 print('MAE: %.3f (%.3f)' % (mean(scores), std(scores))) |
运行示例首先加载数据集并确认输入和输出元素的行数。
注意：由于算法或评估程序的随机性，或者数值精度的差异，您的结果可能有所不同。可以考虑运行示例几次并比较平均结果。
模型使用 LOOCV 进行评估，模型在对新数据进行预测时的性能是平均绝对误差约为 2.180（千美元）。
|
1 2 |
(506, 13) (506,) MAE：2.180 (2.346) |
进一步阅读
如果您想深入了解，本节提供了更多关于该主题的资源。
教程
API
- 交叉验证：评估估计器性能，scikit-learn.
- sklearn.model_selection.LeaveOneOut API.
- sklearn.model_selection.cross_val_score API.
总结
在本教程中，您了解了如何使用留一法交叉验证评估机器学习模型。
具体来说，你学到了：
- 当您拥有小型数据集，或者模型性能的准确估计比方法的计算成本更重要时，留一法交叉验证过程是合适的。
- 如何使用 scikit-learn 机器学习库执行留一法交叉验证过程。
- 如何使用留一法交叉验证评估分类和回归的机器学习算法。
你有什么问题吗？
在下面的评论中提出你的问题，我会尽力回答。
发现 Python 中的快速机器学习！
在几分钟内开发您自己的模型
...只需几行 scikit-learn 代码
在我的新电子书中学习如何操作
精通 Python 机器学习
涵盖自学教程和端到端项目，例如
加载数据、可视化、建模、调优等等...
最终将机器学习带入
您自己的项目
跳过学术理论。只看结果。
对于分类，JACKKNIFE（拔靴法）和 LOOCV 是一样的吗？如果两者不同，它们之间的主要区别是什么？
好问题！
表面上看它们听起来一样。主要区别似乎在于使用样本内（拔靴法）估计 vs 使用样本外（LOOCV）估计。
更多信息在这里
https://en.wikipedia.org/wiki/Jackknife_resampling
嗨，Jason博士，
是否有可以参考的来源来将 LOOCV 用于时间序列？
谢谢
是的，这被称为“前向验证”，我在博客上有数百个示例。
也许从这里开始
https://machinelearning.org.cn/backtest-machine-learning-models-time-series-forecasting/
您写道：
“模型使用 LOOCV 进行评估，模型在对新数据进行预测时的性能是平均绝对误差约为 2.180（千美元）。”
您是说“千美元”吗？
查尔斯
是的，目标定义为：
谢谢。
您的机器学习博客非常好
谢谢！
您好，这是一篇很棒的文章和博客。
我有些疑问。我有一个数据集，分割为训练（60%）、交叉验证（20%）和测试（20%）。我使用交叉验证来估计超参数，我的策略是训练和交叉验证使用 scikit-learn 的分层 4 折交叉验证。这样我就不会在超参数调整中使用测试集。
我想使用 LOOCV 来评估测试集中的模型，方法如下：
如果我有 120 个训练示例，40 个交叉验证示例和 40 个测试示例，我想对测试示例中的每个数据进行 LOOCV 40 次，每次只排除一个数据，并使用 199 个示例进行训练。这是某种混合交叉验证。我可以自己实现，但没有 scikitlearn 我会失去并行化。是否有办法让我的策略在 scikitlearn 中奏效？
提前感谢。
谢谢！
您应该使用 LOOCV 而不是训练/测试分割。
超参数调整可以在每个折内进行，这称为嵌套交叉验证。
https://machinelearning.org.cn/nested-cross-validation-for-machine-learning-with-python/
您好！那么在小型数据集（例如少于 1000 个数据点）的情况下，您建议跳过经典的训练-测试过程（其中交叉验证，在这种情况下是 LOOCV，将在训练子集上执行，然后选择的模型将另外在测试子集上进行测试），而是因为数据集很小而对整个数据集使用 LOOCV 吗？
对于 1000 个数据点，应该使用某种类型的 CV。LOOCV 可能是合适的。
您好 Jason，您能否帮我介绍一下如何在 Keras 中为 NN 进行 LOOCV？谢谢。您的网站在我的硕士论文中帮助了我很多。
或许可以参考这里的示例
https://machinelearning.org.cn/use-keras-deep-learning-models-scikit-learn-python/
您在存储什么
y_true.append(y_test[0])
y_pred.append(yha[0])
请指导我。这些位置指向什么？
我们将单个预测值和期望值收集到列表中。
你好，
一如既往的精彩教程！如果您不介意，我有几个快速问题。
1. 在使用“cross_val_score”的代码示例中，您是否实际上在使用 LOOCV 而不是典型的 K 折进行嵌套交叉验证？
2. 在使用“split()”方法的示例中，为什么不使用“train_test_split”创建训练和测试集，然后对训练集应用“split()”方法，这样您就可以在验证集上测试性能，并在测试集上测试模型泛化能力？
3. 如果您进行两次“split()”，一次是对整个数据，一次是对训练数据，这是否与使用嵌套交叉验证或“cross_val_score”基本相同？
非常感谢！精彩的教程！
谢谢！
不，我们正在进行 CV，而不是嵌套 CV。
我们没有拆分数据集，在本例中我们是手动执行 LOOCV。训练/测试拆分将无法保留 LOOCV 的顺序。
嗨，Jason博士，
但是为什么不进行训练/测试拆分，然后在训练数据上进行 LOOCV 呢？这样基本上会生成一个包含 1 个观测值、n 次的验证集，然后我们可以将这些与测试集进行比较，看看哪个泛化效果最好。我知道这不是你所做的，但这是一种合理的方法吗？
如果您愿意，可以在 LOOCV 中将训练集划分为训练/验证集，以进行超参数调整。
本教程没有这样做。
非常有趣
谢谢！
留一法作为分类准确性的估计非常糟糕。它的方差比其他交叉验证估计量高得多（所有估计量都倾向于有变量，但不如留一法）。尤其是在小样本量的情况下，这个问题会很严重。留一法是所有交叉验证估计量中偏差最小的，但方差最大（在小样本情况下，方差更重要）。主要原因是你的测试折叠太小了（只有一个点！）。你最终会从每个折叠中得到一个全有或全无的估计。
谢谢分享。
感谢您的博客，我用我的数据试了一下，但准确率一直显示为 nan？！
我想这是因为我的数据，我有 8 个输入特征变量和一个数值目标，并且没有空值！
哎呀，也许模型不适用于您的数据。尝试使用您的模型进行一次独立的拟合和预测来调查。
我有一个问题。
我的数据集不是很确定。这意味着，数据并非来自实验，而是来自真实案例，而真实案例的解决方案并不确定。我使用 LOOCV 结合 SVM 和 GBM，我的大约 300 个数据集（超过 1600 个变量）来识别训练集数据中的错误。我消除了（约 10%）的错误分类数据。但现在我不确定我是否最终过度拟合了模型，或者只是选择了“最佳”数据进行训练，并且模型不再适合新数据了？
通常，您应该选择一个能让您对特定数据集上的模型充满信心的评估程序。
也许 LOOCV 对您来说还不够。
嗨，Jason，
在 K 折和 LOOCV 之间，我们应该选择哪种交叉验证技术？是否有某些特定场景下我们应该选择一种技术而不是另一种？
交叉验证的目的是用未见过的数据来检查你的模型。你是否看到选择一种技术而不是另一种技术的弱点？这当然取决于问题和数据，但我们也可能在选择一种技术时考虑速度、内存占用和其他实际指标。
您在“LOOCV for Regression”中的代码不起作用，并给出了错误消息
UnicodeEncodeError: ‘ascii’ codec can’t encode characters in position 18-23: ordinal not in range(128)
尝试在 read_csv() 函数中添加 encoding=”utf-8”。
嗨，Jason，
关于 loocv 的一个快速问题：测试准确率是否必然等于平均训练准确率（即，n 个模型的平均准确率）？换句话说，训练和测试准确率是否会随着 loocv 收敛？
谢谢！
不。如果您看到测试比训练差很多，那么您就遇到了过拟合问题。我们期望一个好的模型应该具有大致相同的测试和训练准确率。
嗨，Jason，
我有一个关于模型创建的问题。模型是在 cross_val_score 函数中训练的吗？我如何访问该模型，例如，将其转储或读取系数等？
谢谢！
Markus，在这种情况下，模型是在 cross_val_score 中训练和评估的。您需要创建一个模型类对象才能捕获模型详细信息。
嗨 James，
我明白了。谢谢！这澄清了很多问题，我只是不明白为什么没有内置函数来获取这个模型……有什么线索可以找到关于如何创建这样的类的想法吗？
嗨 James，
不用担心，我刚找到了一些关于这方面的信息和关于 loocv 的更多理论背景。
谢谢！
嗨 James，
快速问题，在嵌套的 CV 中使用 LOO 作为外层循环，同时仍为参数优化（内层循环）使用 k-fold，这有意义吗？在使用 LOO 的嵌套 CV 中，是否有更好的策略？
非常感谢
Nicola
你好 Nicola…是的，这是一个合理的策略。试着去实现，然后告诉我们你的发现。
太好了，谢谢！
每一次更新都令人兴奋。但这次尤其令人兴奋！
但对于（多）线性回归来说，LOOCV 的计算成本非常低？它有一个封闭形式的解。
你好 Ahmad…以下内容可能对您有所帮助
https://www.statology.org/leave-one-out-cross-validation/
你好 James，你还好吗？我有一些疑问
LOOCV 和其他任何类型的 CV 是否都会为我的模型提供未见数据的预测区间？还是只有其中一个？我的意思是，我是否可以认为任何新的预测都应该在 LOOCV 找到的 +mae 和 -mae 之间（当然是在预测值周围）。
另外，当我的模型具有比训练分数好得多的 LOOCV 分数时，这可能意味着什么？
我的意思是，我将训练数据的预测值与其实际值进行比较，结果比 LOOCV 差？
我明白当我的训练分数比 LOOCV 或任何其他 CV 技术好得多时，这是一种过拟合情况，但反之呢？
谢谢！
你好 Miguel…您可能会发现以下资源很有趣
https://towardsdatascience.com/what-is-cross-validation-622d5a962231
问候，Jason，非常有趣且有帮助的文章。
按照您的示例，我使用了“scores = cross_val_score(model, X, y, scoring=’neg_mean_absolute_error’, cv=cv, n_jobs=-1)”（使用不同的数据集），但感到困惑的是，两种不同的评分方法给了我相同的结果。
我的模型是线性回归，我尝试的两种评分方法是“neg_mean_absolute_error”和“neg_root_mean_squared_error”，并且在我所有的 35 个结果中，这两种方法都得到了相同的分数，分数从 0.178 到 2.28，所以这不仅仅是巧合，这些分数是相同的。
我做错了什么吗？或者在这种模型和验证系统中是否可以预期？
你好 Simon…以下讨论可能非常有启发性
https://stats.stackexchange.com/questions/526316/why-i-get-same-predictions-values-for-diferent-input-data
嗨，Jason，
谢谢！很有帮助。我有一个问题想请您帮我核实一下我的理解。cross_val_score 函数实际上并没有拟合模型，对吗？所以我们传递的第一个参数，我们不能肯定地将其作为最终模型/分类器用于后续使用。话虽如此，我在尝试使用它时一直收到“模型尚未拟合”的错误，这是在遵循您的教程之后。这是否意味着我必须对所有 X 和 Y 进行 cross_val_score，然后，要拟合模型，我将其拆分为训练和测试（假设为 70% / 30%），拟合模型，然后将其用于未见过的（测试）数据？我难以捕获最终模型/分类器以便以后与其他数据一起使用，而不会最终得到 N 个分类器（N 是数据点的数量）。等待您的回复，非常感谢！
你好 Haj…您可能会发现以下资源很有趣
https://machinelearning.org.cn/repeated-k-fold-cross-validation-with-python/