图片由作者使用 Midjourney 创建
引言
分类算法是数据科学的核心，帮助我们将数据分类和组织到预定义的类别中。这些算法被广泛应用于各种场景，从垃圾邮件检测、医疗诊断到图像识别和客户画像。正因如此，数据科学新手必须了解和掌握这些算法：它们为更高级的技术奠定了基础，并能揭示数据驱动的决策是如何做出的。
下面我们来直观地讲解 5 种必备的分类算法。如果感兴趣，我们还将提供每种算法的学习资源。
1. 逻辑回归
机器学习中最基础的算法之一是**逻辑回归**。它用于将数据分类到两个可能类别中的一个，并通过一个称为 sigmoid 或逻辑函数的函数将任何实数映射到 [0, 1] 的范围内。由于概率输出可以用这种方式表示，因此可以使用不同的阈值来对数据进行分类。
逻辑回归常用于预测客户流失（流失/未流失）和电子邮件垃圾邮件识别（垃圾邮件/非垃圾邮件）等任务。它因其简洁易懂而受到赞赏，是新手的一个合理起点。此外，逻辑回归在计算上效率很高，并且可以处理大型数据集。然而，逻辑回归由于其假设特征值与结果的对数几率之间存在线性关系，因此常常受到审视，当实际关系更复杂时，这可能是一个问题。
资源
2. 决策树
**决策树**提供了一种更直接的分类方法，根据特征值将数据集分成越来越小的、越来越细粒度的子集。该算法使用基尼不纯度或熵等标准，在树的每个节点上选择“最佳”特征分割。在这棵树结构中，叶节点表示最终的类标签，决策节点用于进行分割决策并生成子树，根节点则代表整个样本数据集。
决策树的常见应用包括信用评分和客户细分。它们易于解释，并且可以在无需预处理或准备的情况下对数值和分类数据进行缩放。然而，决策树并非没有缺点，它们容易过拟合，尤其是随着深度的增加，并且可能比较脆弱。诸如剪枝和设置最小叶节点成员数等技术可以对此有所帮助。
资源
3. 随机森林
**随机森林**是一种集成方法，它通过生成多个决策树，然后结合它们的输出来实现更高的准确性和预测稳定性，它使用一种称为“bagging”（bootstrap aggregating 的缩写）的技术。作为“普通”决策树 bagging 的改进，随机森林在过程中使用随机特征子集和数据子集，以提高模型的方差。模型的预测是根据每棵单独决策树的输出进行平均得出的。
随机森林分类器成功应用的领域包括图像分类和股票价格预测，以其准确性和鲁棒性衡量。随机森林在这方面比单一决策树更好，并且能更有效地处理大型数据集。这并不是说该模型是完美的，因为它存在令人担忧的高计算要求，并且由于给定模型包含大量决策树，因此解释性较差。
资源
4. 支持向量机
**支持向量机**（SVM）的目的是找到一个超平面（在 n 维数据集中 n-1 维的分离边界），该超平面能有效地将特征空间中的类别分开。通过关注距离超平面最近的两个类别的局部，SVM 引入了支持向量——非常接近边界的数据点——以及“间隔”的概念，即距离超平面最近的不同类数据点之间的距离。通过一个称为核技巧的过程，SVM 将数据投影到更高维度，并在那里找到一个线性分割。通过使用多项式、径向基函数（RBF）或 sigmoid 等核函数，SVM 可以有效地对在原始输入空间中不可线性分离的数据进行分类。
生物信息学和手写识别等应用会使用 SVM，该技术在高维条件下的效果尤其显著。SVM 通常能够很好地适应各种其他问题，这得益于不同核函数的应用。然而，有些数据规模不适合 SVM，并且该模型需要仔细的参数化，这很容易让新手感到不知所措。
资源
5. k-近邻
一种称为**k-近邻**（k-NN）的实例学习算法，以其惊人的简洁性而闻名，证明了机器学习不必不必要地复杂就能发挥作用。k-NN 对数据点的分类完全依赖于其 k 个最近邻居的大多数投票。距离度量（如欧几里得距离）有助于选择最近的邻居。
与 k-NN 的简洁性相呼应的是它在模式识别和推荐系统等任务中的应用，其实现为了新学生提供了一个便捷的入门点。这里的一个好处是它没有底层数据分布的假设。然而，处理大型数据集时计算量大是它的缺点，此外它还依赖于对 k 的任意选择以及对无关特征的敏感性。适当的特征缩放至关重要。
资源
总结
对于进入数据科学领域的人来说，理解这些分类算法是绝对必要的。这些算法是高度复杂模型的基础，并且在学术界和实际应用中有广泛的适用性。强烈鼓励新学生将这些算法应用于真实世界的数据集，以获得实践经验。掌握这些基本知识将使您为应对未来更具挑战性的数据科学任务做好准备。
暂无评论。