使用最大似然估计的逻辑回归简明介绍

逻辑回归是一种用于二元分类预测建模的模型。

逻辑回归模型的参数可以通过一个称为最大似然估计的概率框架来估计。在该框架下，必须假设目标变量（类标签）的概率分布，然后定义一个似然函数，该函数计算给定输入数据和模型时观测结果的概率。然后，可以优化此函数以找到产生训练数据集上最大似然总和的参数集。

拟合逻辑回归模型的最大似然方法既有助于更好地理解逻辑回归模型的形式，也提供了一个可用于更普遍地拟合分类模型的模板。当程序中使用的对数似然函数的负数可以证明等同于交叉熵损失函数时，这一点尤其正确。

在本帖中，您将了解最大似然估计的逻辑回归。

阅读本文后，你将了解：

• 逻辑回归是二元分类预测建模的线性模型。
• 模型中的线性部分预测样本属于类别1的对数几率，通过逻辑函数将其转换为概率。
• 通过最大化似然函数来估计模型的参数，该似然函数预测每个样本的伯努利分布的均值。

立即开始您的项目，阅读我的新书《机器学习中的概率》，其中包含分步教程以及所有示例的Python源代码文件。

让我们开始吧。

使用最大似然估计的逻辑回归简明介绍
图片由 Samuel John 提供，部分权利保留。

概述

本教程分为四个部分；它们是

1. 逻辑回归
2. 逻辑回归与对数几率
3. 最大似然估计
4. 逻辑回归作为最大似然

逻辑回归

逻辑回归是二元分类的经典线性方法。

分类预测建模问题是指那些需要为给定的一组输入变量预测类标签（例如，“红色”、“绿色”、“蓝色”）的问题。二元分类是指具有两个类标签的分类问题，例如真/假或0/1。

逻辑回归与线性回归有很多相似之处，尽管线性回归是一种预测数值的技术，而不是用于分类问题。这两种技术都用一条线（或根据输入维数而定的超平面）来建模目标变量。线性回归将线拟合到数据中，可用于预测新数量，而逻辑回归则拟合一条线以最佳地分隔两个类别。

输入数据表示为 X，包含 n 个样本，输出表示为 y，每个输入对应一个输出。模型对给定输入的预测表示为 yhat。

• yhat = model(X)

模型根据称为系数（beta）的参数定义，每个输入都有一个系数，还有一个提供截距或偏差的额外系数。

例如，一个具有输入 X 和 m 个变量 x1, x2, …, xm 的问题将具有系数 beta1, beta2, …, betam 和 beta0。给定输入通过示例的加权输入和系数的加权和来预测。

• yhat = beta0 + beta1 * x1 + beta2 * x2 + … + betam * xm

也可以使用线性代数来描述模型，其中包含系数向量（Beta）和输入数据矩阵（X）以及输出向量（y）。

• y = X * Beta

到目前为止，这与线性回归相同，但不足以用于分类问题，因为输出将是一个实数值而不是类标签。

相反，模型使用非线性函数来压缩此加权和的输出，以确保输出值介于 0 和 1 之间。

使用逻辑函数（也称为 sigmoid 函数），其定义为

• f(x) = 1 / (1 + exp(-x))

其中 x 是函数的输入值。在逻辑回归的情况下，x 被加权和替换。

例如

• yhat = 1 / (1 + exp(-(X * Beta)))

输出被解释为二项分布函数中类标签为 1 的概率，如果问题中的两个类标签分别为 0 和 1。

请注意，输出是一个介于 0 和 1 之间的数字，可以解释为属于类标签为 1 的概率。

— 第 726 页，《人工智能：一种现代方法》，第三版，2009 年。

训练数据集中的样本是从更广泛的总体中抽取的，因此，该样本已知是不完整的。此外，观测值中预计存在测量误差或统计噪声。

模型的参数（beta）必须根据从域中抽取的样本进行估计。

有许多方法可以估计参数。最常见的两种框架是：

• 最小二乘优化（迭代重加权最小二乘）。
• 最大似然估计.

两者都是涉及搜索不同模型参数的优化过程。

最大似然估计是一种频率统计概率框架，它寻找一组最大化似然函数的模型参数。我们将在接下来的部分中更详细地研究第二种方法。

逻辑回归与对数几率

在深入了解模型参数如何从数据中估计之前，我们需要了解逻辑回归究竟在计算什么。

这可能是逻辑回归中最令人困惑的部分，所以我们将缓慢地进行。

模型中的线性部分（输入的加权和）计算成功事件的对数几率，具体来说，是样本属于类别 1 的对数几率。

• log-odds = beta0 + beta1 * x1 + beta2 * x2 + … + betam * xm

实际上，模型估计输入变量在每个级别（所有观察到的值）上类别 1 的对数几率。

什么是几率和对数几率？

几率可能在赌博领域很熟悉。几率通常表示为赢局与输局（赢局：输局），例如，赢的几率为一比十或1:10。

给定逻辑回归模型预测的成功概率（p），我们可以将其转换为成功几率，即成功概率除以不成功概率

• odds of success = p / (1 – p)

计算几率的对数，特别是以 e 为底的对数或自然对数。此数量称为对数几率，可能称为 logit（逻辑单位），是一种度量单位。

• log-odds = log(p / (1 – p)

回想一下，这正是逻辑回归的线性部分所计算的

• log-odds = beta0 + beta1 * x1 + beta2 * x2 + … + betam * xm

通过计算对数几率的指数，可以将成功几率转换回成功几率。

• odds = exp(log-odds)

或

• odds = exp(beta0 + beta1 * x1 + beta2 * x2 + … + betam * xm)

成功几率可以按如下方式转换回成功概率

• p = odds / (odds + 1)

这接近我们的逻辑回归模型的形式，除了我们希望在计算过程中将对数几率转换为几率。

我们可以做到这一点并简化计算，如下所示：

• p = 1 / (1 + exp(-log-odds))

这表明我们如何通过逻辑回归模型从对数几率转换为几率，再转换为类别 1 的概率，并且最终的函数形式与逻辑函数匹配，确保概率在 0 到 1 之间。

我们可以用一些简单的 Python 示例来具体说明这些在概率、几率和对数几率之间的转换计算。

首先，我们将成功概率定义为 80%，即 0.8，然后将其转换为几率，再转换回概率。

完整的示例如下所示。

运行该示例显示 0.8 被转换为 4 的成功几率，然后又正确地转换回了 0.8 的概率。

让我们扩展这个示例，将几率转换为对数几率，然后将对数几率转换回原始概率。这个最终的转换实际上是逻辑回归模型的形式，或者说是逻辑函数。

完整的示例如下所示。

运行该示例，我们可以看到我们的几率被转换为约 1.4 的对数几率，然后正确地转换回 0.8 的成功概率。

现在我们已经掌握了逻辑回归计算的概率，让我们来看看最大似然估计。

最大似然估计

最大似然估计（简称 MLE）是估计模型参数的一种概率框架。

在最大似然估计中，我们希望最大化在给定特定概率分布及其参数（theta）的情况下观测到数据（X）的条件概率，正式表述为

• P(X ; theta)

其中 X 实际上是问题域中从 1 到 n 的所有观测值的联合概率分布。

• P(x1, x2, x3, …, xn ; theta)

这个得到的条件概率被称为给定模型参数时观测到数据的似然，并使用符号 L() 来表示似然函数。例如：

• L(X ; theta)

联合概率分布可以重述为观测每个示例的条件概率与分布参数的乘积。将许多小概率相乘可能不稳定；因此，将此问题重述为对数条件概率之和是很常见的。

• sum i to n log(P(xi ; theta))

鉴于对数在似然函数中的频繁使用，它被称为对数似然函数。在优化问题中，通常更倾向于最小化成本函数而不是最大化它。因此，使用对数似然函数的负数，通常称为负对数似然（NLL）函数。

• 最小化 - sum i=1 to n log(P(xi ; theta))

最大似然估计框架可以作为估计各种机器学习模型（用于回归和分类预测建模）参数的基础。这包括逻辑回归模型。

逻辑回归作为最大似然

我们可以将拟合机器学习模型的问题构建为概率密度估计的问题。

具体来说，模型和模型参数的选择被称为建模假设 h，问题在于找到最能解释数据 X 的 h。因此，我们可以找到最大化似然函数的建模假设。

• 最大化 sum i=1 to n log(P(xi ; h))

监督学习可以被构建为一个条件概率问题，即预测输出给定输入的概率

• P(y | X)

因此，我们可以定义监督机器学习的条件最大似然估计如下：

• 最大化 sum i=1 to n log(P(yi|xi ; h))

现在我们可以将 h 替换为我们的逻辑回归模型。

为了使用最大似然，我们需要假设一个概率分布。在逻辑回归的情况下，假设数据样本服从二项分布，其中每个样本是伯努利试验的一次观测。伯努利分布有一个参数：成功观测的概率（p）。

• P(y=1) = p
• P(y=0) = 1 – p

当有两个类别时最常使用的概率分布是二项分布。5 该分布有一个参数 p，即事件或特定类的概率。

— 第 283 页，《应用预测建模》，2013 年。

伯努利分布的期望值（均值）计算如下：

• mean = P(y=1) * 1 + P(y=0) * 0

或者，给定 p：

• mean = p * 1 + (1 – p) * 0

这个计算看起来可能冗余，但它为特定输入的似然函数提供了基础，其中概率由模型（yhat）给出，实际标签由数据集提供。

• likelihood = yhat * y + (1 – yhat) * (1 – y)

对于 y=0 和 y=1 的情况，当模型接近所需类值时，此函数将始终返回一个较高的概率，而当模型远离时，则返回一个较小的值。

我们可以用一个小的计算示例来演示这两种结果以及为每种结果预测的小概率和大概率。

完整的示例如下所示。

运行该示例打印了每种情况（概率接近和远离）的类别标签（y）和预测概率（yhat）。

我们可以看到似然函数在返回模型实现所需结果的程度的概率方面是一致的。

我们可以使用对数更新似然函数，将其转换为对数似然函数

• log-likelihood = log(yhat) * y + log(1 – yhat) * (1 – y)

最后，我们可以将似然函数在数据集中的所有示例上求和，以最大化似然

• maximize sum i to n log(yhat_i) * y_i + log(1 – yhat_i) * (1 – y_i)

作为优化问题，通常的做法是最小化成本函数；因此，我们可以反转函数，以便最小化负对数似然

• minimize sum i to n -(log(yhat_i) * y_i + log(1 – yhat_i) * (1 – y_i))

计算伯努利分布的负对数似然函数等同于计算伯努利分布的交叉熵函数，其中 p() 表示类别 0 或类别 1 的概率，q() 表示概率分布的估计，在本例中由我们的逻辑回归模型表示。

• cross entropy = -(log(q(class0)) * p(class0) + log(q(class1)) * p(class1))

与线性回归不同，此优化问题没有解析解。因此，必须使用迭代优化算法。

与线性回归不同，我们无法写出 MLE 的闭式形式。相反，我们需要使用优化算法来计算它。为此，我们需要推导梯度和 Hessian。

— 第 246 页，《机器学习：一种概率视角》，2012 年。

该函数确实提供了一些信息来辅助优化（特别是可以计算 Hessian 矩阵），这意味着可以使用利用这些信息的有效搜索过程，例如BFGS 算法（及其变体）。

进一步阅读

如果您想深入了解，本节提供了更多关于该主题的资源。

文章

• 机器学习最大似然估计入门指南
• 如何在 Python 中从零开始实现逻辑回归
• 机器学习逻辑回归教程
• 机器学习的逻辑回归

书籍

• 第 4.4.1 节 拟合逻辑回归模型，《统计学习要素》，2016 年。
• 第 4.3.2 节 逻辑回归，《模式识别与机器学习》，2006 年。
• 第 8 章 逻辑回归，《机器学习：一种概率视角》，2012 年。
• 第 4 章 算法：基本方法，《数据挖掘：实用机器学习工具与技术》，第四版，2016 年。
• 第 18.6.4 节 具有逻辑回归的线性分类，《人工智能：一种现代方法》，第三版，2009 年。
• 第 12.2 节 逻辑回归，《应用预测建模》，2013 年。
• 第 4.3 节 逻辑回归，《统计学习入门与 R 应用》，2017 年。

文章

• 最大似然估计，维基百科.
• 似然函数，维基百科.
• 逻辑回归, 维基百科.
• 逻辑函数，维基百科.
• 几率，维基百科.

总结

在本帖中，您了解了最大似然估计的逻辑回归。

具体来说，你学到了：

• 逻辑回归是二元分类预测建模的线性模型。
• 模型中的线性部分预测样本属于类别1的对数几率，通过逻辑函数将其转换为概率。
• 通过最大化似然函数来估计模型的参数，该似然函数预测每个样本的伯努利分布的均值。

你有什么问题吗？
在下面的评论中提出你的问题，我会尽力回答。

掌握机器学习中的概率！

增进你对概率的理解

...只需几行python代码

在我的新电子书中探索如何实现
机器学习概率

它提供了关于以下内容的自学教程和端到端项目：
贝叶斯定理、贝叶斯优化、分布、最大似然、交叉熵、校准模型
以及更多...

最终在你的项目中驾驭不确定性

跳过学术理论。只看结果。

查看内容