LLM 输出中的偏见检测：统计方法

LLM 输出中的偏见检测：统计方法
图片来源：编辑 | Midjourney

近年来，包括各种当代大型语言模型（LLM）在内的自然语言处理模型已变得流行且有用，因为它们在广泛的问题领域中的应用越来越强大，尤其是与文本生成相关的领域。

然而，LLM 的用例并不仅限于文本生成。它们可用于许多任务，例如关键词提取、情感分析、命名实体识别等。LLM 可以执行广泛的任务，其中文本作为其输入。

尽管 LLM 在某些领域具有惊人的能力，但模型中仍然存在固有偏见。根据 Pagano 等人 (2022) 的说法，机器学习模型需要考虑算法中的偏见约束。然而，由于模型的复杂性，尤其是拥有数十亿参数的 LLM，完全透明很难实现。

尽管如此，研究人员仍在努力改进模型的偏见检测，以避免因模型中的偏见而造成的任何歧视。这就是为什么本文将从统计角度探讨几种检测偏见的方法。

偏见检测

偏见的种类很多——时间性、空间性、行为性、群体性、社会性等。偏见可以采取任何形式，具体取决于视角。

LLM 仍然可能存在偏见，因为它是一种基于输入到算法中的训练数据的工具。现有的偏见将反映训练开发过程，如果我们不知道我们要找什么，可能很难检测到。

LLM 输出可能产生一些偏见的例子，例如

• 性别偏见：当模型主要将特定特征、角色或行为与特定性别相关联时，LLM 可能会在输出中产生偏见。例如，将“护士”等角色与女性相关联，或在响应模糊的提示时提供性别刻板印象的句子，如“她是一位家庭主妇”。
• 社会经济偏见：当模型将某些行为或价值观与特定的经济阶层或职业相关联时，就会发生社会经济偏见。例如，模型输出表明“成功”主要仅与白领职业有关。
• 能力偏见：当模型输出有关残疾人士的刻板印象或负面关联时，就会发生偏见。如果模型产生此结果，冒犯性语言就显示了偏见。

这些是 LLM 输出可能产生的一些偏见示例。仍然可能发生更多偏见，因此检测方法通常基于我们要检测的定义。

使用统计方法，我们可以采用许多偏见检测方法。让我们探讨各种技术以及如何应用它们。

数据分布分析

让我们从最简单的语言模型偏见检测统计方法开始：数据分布分析。

数据分布分析的统计概念很简单：我们希望通过计算偏见的频率和比例分布来检测 LLM 输出中的偏见。我们将跟踪 LLM 输出的特定部分，以更好地理解模型偏见及其发生的位置。

让我们使用 Python 代码为您提供更好的理解。我们将设置一个实验，其中模型需要根据代词（他或她）填写职业，以查看是否存在性别偏见。基本上，我们想看看模型是否将男性或女性识别为从事某些职业。我们将使用卡方检验来进行统计检验，以确定是否存在偏见。

以下代码将为提示男性和女性职业角色生成 100 个样本。

Sample final results output

结果显示模型存在偏见。一次特定实验执行中的一些显著结果详细说明了原因

1. 只有当代词是他时，才会出现 6 个律师和 6 个机械师的样本结果
2. 秘书的 13 个样本结果中，她出现了 12 次，他只出现了 1 次
3. 翻译的 4 个样本和女招待的 6 个样本只有在代词是她时才会出现

数据分布分析方法表明 LLM 输出中可能存在偏见，并且我们可以对其进行统计衡量。如果我们想孤立特定的偏见或术语，这是一种简单但强大的分析。

基于嵌入的测试

基于嵌入的测试是一种识别和衡量 LLM 嵌入模型（尤其是在其潜在表示中）偏见的技术。我们知道嵌入是高维向量，它在潜在空间中编码词语之间的语义关系。通过检查这些关系，我们可以从模型固有训练数据中产生的偏见中理解。

该测试分析了输出模型和我们要衡量其接近度的偏见词语之间的词嵌入。通过计算余弦相似度或使用词嵌入关联测试（WEAT）等技术，我们可以统计量化输出与测试词语之间的关联。例如，我们可以评估关于职业的提示是否会产生与特定行为高度相关的输出，这将反映偏见。

让我们尝试计算余弦相似度来衡量偏见。在此 Python 示例中，我们想使用嵌入和余弦相似度来分析模型输出中的特定职业与预定义属性。

Sample results output

相似性矩阵显示了职业和文化术语之间的词语关联，这些词语在任何数据级别上大多是相似的。这表明模型输出之间存在的偏见并不多，并且不会生成许多与我们想要定义的属性相关的词语。

无论如何，您都可以使用各种模型进一步测试任何有偏见的术语。

使用 AI Fairness 360 的偏见检测框架

AI Fairness 360 (AIF360) 是 IBM 开发的一个开源 Python 库，用于检测和减轻偏见。虽然最初是为结构化数据集设计的，但它也可以用于文本数据，例如 LLM 的输出。

使用 AIF360 进行偏见检测的方法依赖于受保护属性和结果变量的概念。例如，在 LLM 上下文中，受保护属性可能是性别（例如，“男性” vs “女性”），而结果变量可以表示从模型输出中提取的标签，例如与职业相关的或与家庭相关的。

群体公平性度量是 AIF360 方法中最常用的度量。群体公平性是用于比较分组受保护属性的统计度量的一个类别。例如，与职业相关的词语（如与职业相关的术语）中提及性别的文本之间的正面率，与男性代词的关联频率比与女性代词的关联频率更高。

群体公平性包括几个度量，包括：

1. 人口统计学均等性，其中度量评估受保护属性内不同值之间的首选标签的公平性。
2. 均等化赔率，其中度量试图在受保护属性之间实现公平性，但引入了更严格的测量，即群体必须具有相等的真实和虚假有利率。

让我们使用 Python 来尝试这个过程。首先，我们需要安装库。

在此示例中，我们将使用模拟的 LLM 输出。我们将模型假定为一个分类器，该模型将句子分为职业或家庭类别。每个句子都与性别（男性或女性）和二元标签（职业 = 有利，家庭 = 不利）相关联。计算将基于人口统计学均等性。

输出

结果显示为一个负值，在这种情况下，这意味着女性获得有利结果的机会少于男性。这揭示了数据集中职业与性别关联的失衡。这个模拟结果表明模型中存在偏见。

结论

通过各种统计方法，我们可以通过检查控制提示的输出来检测和量化 LLM 中的偏见。在本文中，我们探讨了几种此类方法，特别是数据分布分析、基于嵌入的测试以及偏见检测框架 AI Fairness 360。

希望这对您有所帮助！