逻辑回归是用于二元分类预测建模的模型。逻辑回归模型的参数可以通过称为最大似然估计的概率框架来估计。在此框架下，必须假定目标变量（类标签）的概率分布，然后定义一个似然函数来计算观察到的概率……
档案 | 概率
最大似然估计线性回归入门指南
线性回归是用于预测数值数量的经典模型。线性回归模型的参数可以使用最小二乘法或最大似然估计过程来估计。最大似然估计是一个概率框架，用于自动查找最能描述观测数据的概率分布和参数。监督式……
机器学习最大似然估计入门指南
密度估计是从问题域的样本中估计概率分布的问题。存在许多解决密度估计的技术，尽管机器学习领域广泛使用的一种通用框架是最大似然估计。最大似然估计涉及定义一个似然函数来计算条件概率……
机器学习交叉熵简明介绍
交叉熵在机器学习中通常用作损失函数。交叉熵是信息论领域的一个度量，它建立在熵的基础上，并通常计算两个概率分布之间的差异。它与 KL 散度密切相关，但又不同，KL 散度计算两个概率分布之间的相对熵，而交叉熵……
如何为机器学习计算 KL 散度
对于给定的随机变量，量化概率分布之间的差异通常是可取的。这在机器学习中经常发生，当我们对计算实际概率分布与观测概率分布之间的差异感兴趣时。这可以通过信息论技术来实现，例如 Kullback-Leibler 散度（KL 散度），或……
机器学习中的信息增益与互信息
信息增益计算通过某种方式转换数据集后熵或惊奇度的减少量。它通常用于从训练数据集中构建决策树，通过评估每个变量的信息增益，并选择最大化信息增益的变量，从而最小化熵并提供最佳……
信息熵简明介绍
信息论是数学的一个子领域，涉及通过噪声信道传输数据。信息论的一个基石是量化消息中有多少信息。更普遍地说，这可以用于量化事件和随机变量中的信息，称为熵，其计算方法为……
贝叶斯信念网络简明入门
概率模型可以定义变量之间的关系并用于计算概率。例如，完全条件模型可能需要大量数据才能涵盖所有可能的情况，并且在实践中计算概率可能非常困难。诸如所有随机变量的条件独立性之类的简化假设可能很有效，例如……
如何在 Python 中从零开始实现贝叶斯优化
在本教程中，您将了解如何为复杂的优化问题实现贝叶斯优化算法。全局优化是一个具有挑战性的问题，旨在找到使给定目标函数的成本最小或最大的输入。通常，目标函数的形式复杂且难以分析，并且……
如何在 Python 中从零开始开发朴素贝叶斯分类器
分类是一个预测建模问题，涉及为给定的输入数据样本分配标签。分类预测建模问题可以表述为计算给定数据样本的类标签的条件概率。贝叶斯定理为计算此条件概率提供了一种原则性的方法，尽管在实践中需要……