参数和超参数有什么区别？

刚开始接触应用机器学习时可能会感到困惑。

有太多术语要使用，而且许多术语可能没有被一致地使用。如果您来自其他领域，这些领域可能使用与机器学习相同的术语，但用法不同，情况尤其如此。

例如：“模型参数”和“模型超参数”这两个术语。

对于初学者，尤其是来自统计学或经济学领域的人来说，缺乏对这些术语的清晰定义是一个常见的难题。

在这篇文章中，我们将仔细研究这些术语。

参数和超参数有什么区别？
图片来源：Irol Trasmonte，保留部分权利。

什么是模型参数？

模型参数是模型内部的配置变量，其值可以从数据中估计。

• 模型在进行预测时需要它们。
• 它们的值定义了模型在您问题上的技能。
• 它们是从数据中估计或学习的。
• 它们通常不由实践者手动设置。
• 它们通常作为学习模型的一部分被保存。

参数是机器学习算法的关键。它们是模型中从历史训练数据中学习的部分。

在经典的机器学习文献中，我们可以将模型视为假设，将参数视为针对特定数据集调整假设的过程。

模型参数通常使用优化算法进行估计，这是一种通过可能参数值进行高效搜索的方法。

• 统计学：在统计学中，您可能会假设一个变量的分布，例如高斯分布。高斯分布的两个参数是均值（mu）和标准差（sigma）。这在机器学习中也适用，这些参数可以从数据中估计并用作预测模型的一部分。
• 编程：在编程中，您可以将参数传递给函数。在这种情况下，参数是函数参数，可以具有一系列值。在机器学习中，您使用的特定模型就是函数，并且需要参数才能对新数据进行预测。

模型是具有固定数量的参数还是可变数量的参数，决定了它是否可以被称为“参数化”或“非参数化”。

模型参数的一些示例包括：

• 人工神经网络中的权重。
• 支持向量机中的支持向量。
• 线性回归或逻辑回归中的系数。

什么是模型超参数？

模型超参数是模型外部的配置，其值无法从数据中估计。

• 它们通常用于帮助估计模型参数的过程。
• 它们通常由实践者指定。
• 它们通常可以使用启发式方法设置。
• 它们通常针对给定的预测建模问题进行调整。

我们无法知道给定问题上模型超参数的最佳值。我们可以使用经验法则、复制在其他问题上使用的值，或通过试错法搜索最佳值。

当机器学习算法针对特定问题进行调整时，例如使用网格搜索或随机搜索时，您正在调整模型的超参数，以便发现能够产生最熟练预测的模型参数。

许多模型都有无法直接从数据中估计的重要参数。例如，在K-最近邻分类模型中……这种类型的模型参数被称为调优参数，因为没有可用的分析公式来计算适当的值。

— 第64-65页，《应用预测建模》，2013年

模型超参数通常被称为模型参数，这可能会让人感到困惑。克服这种困惑的一个好经验法则是：

如果您必须手动指定模型参数，那么
它很可能是一个模型超参数。

模型超参数的一些示例包括：

• 训练神经网络的学习率。
• 支持向量机的C和sigma超参数。
• K-最近邻中的k。

进一步阅读

• 维基百科上的超参数
• Quora上的机器学习中的超参数是什么？
• StackExchange上的模型超参数和模型参数的区别是什么？
• Reddit上的什么被认为是超参数？

总结

在这篇文章中，您发现了模型参数和模型超参数的清晰定义以及它们之间的区别。

总而言之，模型参数是自动从数据中估计的，而模型超参数是手动设置的，并用于帮助估计模型参数的过程。

模型超参数通常被称为参数，因为它们是机器学习中必须手动设置和调整的部分。

这篇文章是否帮助您消除了困惑？
在下面的评论中告诉我。

您对哪些模型参数或超参数仍不确定？
请在评论中提出，我将尽力进一步澄清。