机器学习中的支持向量机

支持向量机可能是最流行和最受关注的机器学习算法之一。

它们在 20 世纪 90 年代开发时非常流行，并且仍然是高性能算法的首选方法，只需少量调整。

在这篇文章中，您将了解支持向量机 (SVM) 机器学习算法。阅读本文后您将了解：

• 如何区分用于指代支持向量机的许多名称。
• 当模型实际存储在磁盘上时，SVM 使用的表示。
• 如何使用学习到的 SVM 模型表示来对新数据进行预测。
• 如何从训练数据中学习 SVM 模型。
• 如何为 SVM 算法最好地准备您的数据。
• 在哪里可以找到更多关于 SVM 的信息。

SVM 是一种令人兴奋的算法，其概念相对简单。这篇文章是为几乎没有统计和线性代数背景的开发人员编写的。

因此，我们将在此描述中保持高层次，并侧重于具体的实现问题。关于为什么使用特定方程或如何推导它们的问题未涵盖，您可能希望在进一步阅读部分深入研究。

通过我的新书《掌握机器学习算法》启动您的项目，其中包括所有示例的分步教程和Excel 电子表格文件。

让我们开始吧。

机器学习中的支持向量机
照片作者：Francisco Barberis，保留部分权利。

最大间隔分类器

最大间隔分类器是一个假设的分类器，它最能解释 SVM 在实践中是如何工作的。

数据中（列）的数字输入变量（x）形成一个 n 维空间。例如，如果您有两个输入变量，这将形成一个二维空间。

超平面是分割输入变量空间的直线。在 SVM 中，选择一个超平面以通过它们的类别（类别 0 或类别 1）最好地分离输入变量空间中的点。在二维中，您可以将其可视化为一条线，让我们假设所有输入点都可以被这条线完全分离。例如：

B0 + (B1 * X1) + (B2 * X2) = 0

其中系数（B1 和 B2）决定线的斜率，截距（B0）由学习算法找到，X1 和 X2 是两个输入变量。

您可以使用这条线进行分类。通过将输入值插入到线方程中，您可以计算新点是在线上方还是下方。

• 在线上方，方程返回一个大于 0 的值，该点属于第一类（类别 0）。
• 在线下方，方程返回一个小于 0 的值，该点属于第二类（类别 1）。
• 靠近线的值返回一个接近零的值，该点可能难以分类。
• 如果值的幅度很大，模型可能对预测更有信心。

线与最近数据点之间的距离称为间隔。能够分离两个类别的最佳或最优线是具有最大间隔的线。这称为最大间隔超平面。

间隔计算为从线到最近点的垂直距离。只有这些点与定义线和构建分类器相关。这些点称为支持向量。它们支持或定义了超平面。

超平面是通过最大化间隔的优化过程从训练数据中学习的。

获取您的免费算法思维导图

方便的机器学习算法思维导图样本。

我创建了一份方便的思维导图，其中包含60多种按类型组织的算法。

下载、打印并使用它。

软间隔分类器

实际上，真实数据是混乱的，无法用超平面完美分离。

必须放宽最大化分离类别的线间隔的约束。这通常称为软间隔分类器。这种改变允许训练数据中的某些点违反分离线。

引入了额外的系数集，为每个维度的间隔提供了“摆动空间”。这些系数有时称为松弛变量。这增加了模型的复杂性，因为模型有更多的参数来拟合数据以提供这种复杂性。

引入了一个名为 C 的调整参数，它定义了所有维度上允许的摆动幅度。C 参数定义了允许违反间隔的程度。C=0 表示没有违反，我们回到了上面描述的刚性最大间隔分类器。C 的值越大，允许违反超平面的次数越多。

在从数据中学习超平面的过程中，所有位于间隔距离内的训练实例都会影响超平面的位置，并被称为支持向量。由于 C 影响允许落在间隔内的实例数量，因此 C 影响模型使用的支持向量数量。

• C 的值越小，算法对训练数据越敏感（方差越高，偏差越低）。
• C 的值越大，算法对训练数据越不敏感（方差越低，偏差越高）。

支持向量机（核函数）

SVM 算法在实践中是使用核函数实现的。

线性 SVM 中超平面的学习是通过使用一些线性代数来转换问题来完成的，这超出了本 SVM 介绍的范围。

一个强大的洞察是，线性 SVM 可以用任意两个给定观测值的内积来重新表述，而不是观测值本身。两个向量的内积是每对输入值乘积的总和。

例如，向量 [2, 3] 和 [5, 6] 的内积是 2*5 + 3*6 或 28。

使用输入 (x) 和每个支持向量 (xi) 之间的点积对新输入进行预测的方程计算如下：

f(x) = B0 + sum(ai * (x,xi))

这是一个涉及计算新输入向量 (x) 与训练数据中所有支持向量内积的方程。系数 B0 和 ai（对于每个输入）必须由学习算法从训练数据中估计出来。

线性核函数 SVM

点积被称为核函数，可以改写为

K(x, xi) = sum(x * xi)

核函数定义了新数据和支持向量之间的相似度或距离度量。点积是用于线性 SVM 或线性核函数的相似度度量，因为距离是输入的线性组合。

可以使用其他核函数将输入空间转换为更高维度，例如多项式核函数和径向核函数。这被称为核技巧。

使用更复杂的核函数是可取的，因为它允许线分离曲线甚至更复杂的类别。这反过来可以产生更准确的分类器。

多项式核函数 SVM

除了点积，我们还可以使用多项式核函数，例如

K(x,xi) = 1 + sum(x * xi)^d

其中多项式的次数必须手动指定给学习算法。当 d=1 时，这与线性核函数相同。多项式核函数允许输入空间中存在曲线。

径向核函数 SVM

最后，我们还可以有一个更复杂的径向核函数。例如

K(x,xi) = exp(-gamma * sum((x – xi)^2))

其中 gamma 是必须指定给学习算法的参数。gamma 的一个好的默认值是 0.1，其中 gamma 通常在 0 < gamma < 1 之间。径向核函数具有很强的局部性，可以在特征空间中创建复杂的区域，例如二维空间中的封闭多边形。

如何学习 SVM 模型

SVM 模型需要使用优化过程来求解。

您可以使用数值优化过程来搜索超平面的系数。这是低效的，并且不是 LIBSVM 等广泛使用的 SVM 实现中使用的方法。如果将算法作为练习来实现，您可以使用随机梯度下降。

存在将优化问题重新表述为二次规划问题的专用优化过程。拟合 SVM 最流行的方法是序贯最小优化 (SMO) 方法，它非常高效。它将问题分解为可以解析求解（通过计算）而不是数值求解（通过搜索或优化）的子问题。

SVM 的数据准备

本节列出了一些关于在学习 SVM 模型时如何最好地准备训练数据的建议。

• 数值输入：SVM 假设您的输入是数值型的。如果您有分类输入，您可能需要将它们转换为二进制虚拟变量（每个类别一个变量）。
• 二元分类：本文描述的基本 SVM 旨在解决二元（两类）分类问题。但是，已经开发了用于回归和多类分类的扩展。

进一步阅读

支持向量机是一个巨大的研究领域。关于这个主题有大量的书籍和论文。本节列出了一些如果您想深入了解该技术的背景和理论，最重要和最有用的成果。

Vladimir Vapnik 是这项技术的发明者之一，他有两本书被认为是该主题的开创性著作。它们非常数学化且严谨。

• 《统计学习理论的本质》，Vapnik，1995
• 《统计学习理论》，Vapnik，1998

任何好的机器学习书籍都会涵盖 SVM，下面是我最喜欢的一些。

• 《统计学习导论：R 语言应用》，第八章
• 《应用预测建模》，第十三章
• 《统计学习要素：数据挖掘、推断和预测》，第十二章

有无数关于 SVM 的教程和期刊文章。下面是 Cortes 和 Vapnik 关于 SVM 的一篇开创性论文的链接，以及另一篇优秀的入门教程。

• 支持向量网络 [PDF] Cortes 和 Vapnik 1995
• 模式识别的支持向量机教程 [PDF] 1998

维基百科提供了关于该主题的一些好的（尽管内容密集）信息

• 维基百科上的支持向量机
• 维基百科关于支持向量机的书籍

最后，问答网站上有很多帖子在寻求 SVM 的简单解释，下面是两个您可能会觉得有用的精选。

• 通俗地说，支持向量机 (SVM) 是什么意思？
• 请像我 5 岁一样解释支持向量机 (SVM)

总结

在这篇文章中，您了解了机器学习中的支持向量机算法。您了解了

• 最大间隔分类器，它提供了一个简单的理论模型来理解 SVM。
• 软间隔分类器，它是最大间隔分类器的修改，用于放宽间隔以处理实际数据中嘈杂的类别边界。
• 支持向量机以及学习算法如何重新表述为点积核函数，以及如何使用多项式和径向等其他核函数。
• 如何使用数值优化来学习超平面，以及高效实现如何使用称为序贯最小优化的替代优化方案。

您对 SVM 或这篇文章有任何疑问吗？
请在评论中提问，我将尽力回答。

了解机器学习算法的工作原理！

几分钟内了解算法如何工作

...只需算术和简单示例

在我的新电子书中探索如何实现
精通机器学习算法

它涵盖了**10种顶级算法**的**解释**和**示例**，例如：
_线性回归_、_k-近邻_、_支持向量机_等等...

最后，揭开
机器学习算法的神秘面纱

跳过学术理论。只看结果。

查看内容