大规模数据集中的异常检测技术

作者： Jayita Gulati 于 2025年4月21日发表在实践机器学习 0

大规模数据集中的异常检测技术
图片来源：编辑 | Midjourney

异常检测是指在数据中查找与正常情况不同的模式。这些不寻常的模式被称为异常或离群点。在大型数据集中，查找异常更困难。数据量大，模式可能很复杂。常规方法可能效果不佳，因为需要查找的数据太多。需要特殊技术来快速轻松地查找这些罕见的模式。这些方法在金融、医疗保健和安全等许多领域都有帮助。

让我们简要了解一下用于大规模数据集的异常检测技术。这将是直截了当的，以便您可以在需要时跟进其他材料。

异常类型

根据其性质和上下文，异常可以分为不同类型。

统计测量通过分析数据分布和与预期值的偏差来检测异常。

Z-Score 分析有助于查找异常数据点或异常。它衡量一个点与数据的平均值相差多少。要找到 Z-Score，请取数据点并从中减去平均值。接下来，将该数字除以标准差。Z-Score 分析在数据呈正态分布时效果最佳。

Grubbs 检验用于识别数据集中的离群点。它侧重于最高或最低的极端数据点。该检验将该极端值与数据的其余部分进行比较。要执行 Grubbs 检验，您首先计算极端点的 Z-Score。然后，检查此 Z-Score 是否高于某个阈值。如果是，则该点被标记为离群点。

卡方检验有助于查找分类数据中的异常。它将您在数据中观察到的与您期望看到的进行比较。要执行该测试，您首先计算每个类别的频率。然后，您根据假设计算预期频率。此测试对于检测分类数据中的异常模式很有用。

机器学习方法可以通过从数据中学习模式来帮助检测异常。

此方法通过随机选择特征和分割数据值来隔离异常。它创建许多随机树，每棵树以不同的方式隔离点。在更少的分裂中被快速隔离的点很可能是异常。此方法对于大型数据集非常高效。它避免了直接比较每个数据点的需要。

此技术通过学习正常数据点周围的边界来工作。它试图找到一个将正常数据与离群点分开的超平面。任何落在该边界之外的内容都会被标记为异常。当异常与正常数据相比很少时，此技术特别有用。

基于邻近度的方法根据数据点与其他数据点的距离来查找异常

k-最近邻方法有助于根据距离识别异常。它查看一个数据点与其 k 个最近邻居之间的距离。如果一个数据点与其邻居相距甚远，则认为它是一个异常。此方法简单易懂。但是，由于它需要计算许多点的距离，因此在大数据集上可能会变慢。

LOF 衡量一个数据点相对于其邻居的孤立程度。它将数据点的密度与其邻居的密度进行比较。与邻居相比密度低得多的点被标记为异常。LOF 有效地检测发生在数据局部区域的异常。

深度学习方法对于复杂数据集很有用

它们是一种用于异常检测的神经网络，通过学习压缩和重建数据。网络学会将数据编码为较低维度的形式。然后，它可以将其更改回原始大小。通过数据重建效果的好坏来检测异常。如果重建误差很高，则认为数据点是异常。

GAN 由生成器和判别器组成。生成器创建合成数据，判别器检查数据是真实的还是假的。通过生成器创建与真实数据相似的数据的程度来识别异常。如果生成器难以创建真实的数据，则表示存在异常。

RNN 用于分析时间序列数据和检测随时间变化的异常。RNN 学习序列数据中的模式和依赖关系。它们可以通过识别与预期模式的显著偏差来标记异常。此方法适用于数据点有序且具有时间关系的数据集。

异常检测广泛应用于各个领域，以识别不寻常的模式。一些常见应用包括

欺诈检测：在银行和金融领域，异常检测有助于识别欺诈活动。例如，信用卡上的异常交易可能被标记为潜在的欺诈。这有助于防止财务损失并保护账户。
网络安全：异常检测有助于查找网络流量中的异常活动。例如，如果一个网络接收到的数据量远超正常水平，可能意味着发生了网络攻击。检测这些异常有助于防止安全漏洞。
制造业：在制造业中，异常检测可以识别产品缺陷。例如，如果一台机器开始生产超出正常规格的产品，则可能表明存在故障。早期检测有助于保持产品质量并减少浪费。
医疗保健：异常检测用于查找医疗数据中的异常模式。例如，患者生命体征的突然变化可能表明存在医学问题。这有助于医生快速响应潜在的健康问题。

以下是一些使用异常检测的技巧

总而言之，异常检测对于在大型数据集中查找异常模式非常重要。它在金融、医疗保健和安全等许多领域都有用。有不同的异常检测方法，包括统计方法、机器学习和深度学习。每种方法都有其优点，并且适用于不同类型的数据。