数据、学习和建模

机器学习领域有一些关键概念，它们构成了理解该领域的基础。

在本文中，您将学习在描述数据和数据集时使用的命名法（标准术语）。

您还将学习用于描述从数据中学习和建模的概念和术语，这将为您在机器学习领域探索之旅提供宝贵的直观认识。

数据

机器学习方法通过示例进行学习。重要的是要对输入数据以及描述数据时使用的各种术语有很好的掌握。在本节中，您将学习机器学习中用于指代数据的术语。

当我想到数据时，我会想到行和列，就像数据库表或 Excel 电子表格一样。这是数据的传统结构，也是机器学习领域普遍采用的结构。图像、视频和文本等其他数据，所谓的非结构化数据，在此不予考虑。

显示实例、特征和训练/测试数据集的数据表

实例：一行数据称为一个实例。它是来自该领域的一个观测值。

特征：一列数据称为一个特征。它是观测值的一个组成部分，也称为数据实例的属性。某些特征可能是模型的输入（预测变量），而其他特征可能是输出或需要预测的特征。

数据类型：特征具有数据类型。它们可能是实数或整数值，或者可能是分类或有序值。您还可以拥有字符串、日期、时间以及更复杂的数据类型，但在处理传统机器学习方法时，它们通常会被简化为实数或分类值。

数据集：实例的集合称为数据集，在使用机器学习方法时，我们通常需要几个数据集以供不同目的使用。

训练数据集：我们输入到机器学习算法以训练模型的数据集。

测试数据集：我们用于验证模型准确性的数据集，但它不用于训练模型。它也可以称为验证数据集。

我们可能需要收集实例来形成我们的数据集，或者我们可能会收到一个必须将其拆分为子数据集的数据集。

学习

机器学习实际上是通过算法进行的自动化学习。

在本节中，我们将讨论一些关于学习的高级概念。

归纳：机器学习算法通过一个称为归纳或归纳学习的过程进行学习。归纳是从特定信息（训练数据）中进行泛化（模型）的推理过程。

泛化：泛化是必需的，因为机器学习算法准备的模型需要基于在训练期间未见过的数据实例进行预测或决策。

过度学习：当模型过于紧密地学习训练数据而无法泛化时，这称为过度学习。结果是对训练数据集以外的数据表现不佳。这也被称为过拟合。

欠拟合：当模型由于学习过程过早终止而未能从数据库中学习到足够的结构时，这称为欠拟合。结果是泛化良好，但在所有数据（包括训练数据集）上的表现都很差。这也被称为欠拟合。

在线学习：在线学习是指当数据实例可用时，通过这些实例更新方法。在线学习需要对噪声数据具有鲁棒性的方法，但可以生成更能适应领域当前状态的模型。

离线学习：离线学习是指方法在预准备好的数据上创建，然后用于对未观察到的数据进行操作。由于训练数据的范围是已知的，因此可以控制和仔细调整训练过程。模型在准备好后不会更新，并且如果领域发生变化，性能可能会下降。

监督学习：这是一个用于泛化需要预测的问题的学习过程。“教学过程”将模型的预测与已知答案进行比较，并对模型进行更正。

无监督学习：这是一个用于泛化数据结构而无需预测的学习过程。它识别并利用自然结构来关联实例。

我们之前在关于机器学习算法的帖子中讨论过监督学习和无监督学习。这些术语可用于根据算法的行为对其进行分类。

建模

机器学习过程产生的产物本身就可以被视为一个程序。

模型选择：我们可以将配置和训练模型的过程视为模型选择过程。每一次迭代我们都有一个新的模型可以供选择使用或修改。即使是选择机器学习算法也是该模型选择过程的一部分。在针对某个问题存在的所有可能模型中，给定的算法和算法配置在选定的训练数据集上将提供一个最终选定的模型。

归纳偏差：偏差是施加到选定模型的限制。所有模型都有偏差，这会在模型中引入错误，根据定义，所有模型都有错误（它们是从观测值中进行的泛化）。偏差通过模型中进行的泛化引入，包括模型的配置和生成模型的算法选择。机器学习方法可以创建低偏差或高偏差的模型，并且可以使用策略来降低高偏差模型的偏差。

模型方差：方差是模型对训练它的数据的敏感程度。机器学习方法在数据集上创建模型时可能具有高方差或低方差。降低模型方差的策略是多次在具有不同初始条件的数据集上运行它，并将平均准确率作为模型的性能。

偏差-方差权衡：模型选择可以被视为偏差和方差之间的权衡。低偏差模型将具有高方差，并且需要长时间或多次训练才能获得可用的模型。高偏差模型将具有低方差，并且训练速度快，但性能较差且有限。

资源

如果您想深入研究，以下是一些资源。

• Tom Mitchell，学习泛化中偏差的必要性，1980
• 理解偏差-方差权衡

本文提供了一个有用的术语表，您可以随时参考以获得清晰的定义。

是否有遗漏的术语？您对其中一个术语是否有更清晰的描述？请发表评论，让我们大家知道。