使用奇异值分解构建推荐系统

奇异值分解（Singular Value Decomposition）是一种非常流行的线性代数技术，用于将一个矩阵分解为几个更小矩阵的乘积。事实上，这项技术有很多用途。一个例子是，我们可以利用SVD来发现物品之间的关系。基于此，可以轻松地构建一个推荐系统。

在本教程中，我们将了解如何仅使用线性代数技术构建推荐系统。

完成本教程后，您将了解：

• 奇异值分解对矩阵做了什么？
• 如何解释奇异值分解的结果？
• 单个推荐系统需要什么数据，以及我们如何利用SVD对其进行分析？
• 我们如何利用SVD的结果进行推荐？

让我们开始吧。

使用奇异值分解构建推荐系统
图片由Roberto Arias拍摄，部分权利保留。

教程概述

本教程分为3个部分；它们是

• 奇异值分解回顾
• 奇异值分解在推荐系统中的含义
• 实现推荐系统

奇异值分解回顾

就像数字24可以分解为因数24=2×3×4一样，矩阵也可以表示为其他矩阵的乘积。因为矩阵是数字的数组，它们有自己的乘法规则。因此，它们有不同的因式分解方式，也称为**分解**。QR分解或LU分解是常见的例子。另一个例子是**奇异值分解**，它对被分解的矩阵的形状或属性没有限制。

奇异值分解假设一个矩阵 $M$（例如，一个 $m \times n$ 矩阵）可以分解为：
$$
M = U\cdot \Sigma \cdot V^T
$$
其中 $U$ 是一个 $m \times m$ 矩阵，$\Sigma$ 是一个 $m \times n$ 的对角矩阵，而 $V^T$ 是一个 $n \times n$ 矩阵。对角矩阵 $\Sigma$ 很有趣，它可以是非方阵的，但只有对角线上的元素可能非零。矩阵 $U$ 和 $V^T$ 是**标准正交**矩阵。这意味着 $U$ 的列或 $V$ 的行（1）彼此正交，并且（2）是单位向量。向量彼此正交是指任意两个向量的点积为零。向量是单位向量是指其L2范数为1。标准正交矩阵的性质是其转置是其逆。换句话说，由于 $U$ 是一个标准正交矩阵，$U^T = U^{-1}$ 或 $U\cdot U^T=U^T\cdot U=I$，其中 $I$ 是单位矩阵。

奇异值分解的名字来源于 $\Sigma$ 上的对角线元素，它们被称为矩阵 $M$ 的奇异值。实际上，它们是矩阵 $M\cdot M^T$ 的特征值的平方根。就像数字可以分解为素数一样，矩阵的奇异值分解揭示了该矩阵的结构。

但实际上，上面描述的是**满秩SVD**。还有另一种版本称为**降秩SVD**或**紧凑SVD**。我们仍然写成 $M = U\cdot\Sigma\cdot V^T$，但 $\Sigma$ 是一个 $r \times r$ 的方对角矩阵，其中 $r$ 是矩阵 $M$ 的**秩**，通常小于或等于 $m$ 和 $n$ 中的较小者。此时矩阵 $U$ 是一个 $m \times r$ 矩阵，而 $V^T$ 是一个 $r \times n$ 矩阵。因为矩阵 $U$ 和 $V^T$ 不是方阵，所以它们被称为**半标准正交**，意味着 $U^T\cdot U=I$ 和 $V^T\cdot V=I$，在这两种情况下，$I$ 都是一个 $r \times r$ 的单位矩阵。

奇异值分解在推荐系统中的含义

如果矩阵 $M$ 的秩是 $r$，那么我们可以证明矩阵 $M\cdot M^T$ 和 $M^T\cdot M$ 的秩都是 $r$。在奇异值分解（降秩SVD）中，$U$ 矩阵的列是 $M\cdot M^T$ 的特征向量，$V^T$ 矩阵的行是 $M^T\cdot M$ 的特征向量。有趣的是，$M\cdot M^T$ 和 $M^T\cdot M$ 的尺寸可能不同（因为矩阵 $M$ 可以是非方阵），但它们具有相同的特征值集合，这些特征值是 $\Sigma$ 对角线数值的平方。

这就是为什么奇异值分解的结果可以揭示矩阵 $M$ 的很多信息。

想象一下我们收集了一些书籍评论，其中书籍是列，人们是行，条目是某人对某本书的评分。在这种情况下，$M\cdot M^T$ 将是一个“人到人”的表格，条目表示一个人的评分总和与另一个人的匹配程度。类似地，$M^T\cdot M$ 将是一个“书到书”的表格，条目表示获得的评分总和与另一本书获得的评分的匹配程度。人与书之间可能存在的隐藏联系是什么？可能是类型、作者，或者类似性质的东西。

实现推荐系统

让我们看看如何利用SVD的结果来构建一个推荐系统。首先，让我们从以下链接下载数据集（注意：它有600MB大）

• http://deepyeti.ucsd.edu/jmcauley/datasets/librarything/lthing_data.tar.gz

这个数据集来自“推荐系统与个性化数据集”的“社交推荐数据”。它包含用户在Librarything上对书籍的评论。我们感兴趣的是用户给一本书的“星级”数量。

如果我们打开这个tar文件，我们会看到一个名为“reviews.json”的大文件。我们可以解压它，或者实时读取包含的文件。reviews.json的前三行如下所示：

上面的代码会打印出

reviews.json中的每一行都是一个记录。我们将提取每个记录的“user”、“work”和“stars”字段，只要这三个字段中没有缺失数据。尽管有这个名字，但记录并不是格式良好的JSON字符串（最明显的是它使用了单引号而不是双引号）。因此，我们不能使用Python的json包，而必须使用ast来解码这样的字符串。

现在，我们需要创建一个关于不同用户如何评价每本书的矩阵。我们使用pandas库将收集到的数据转换为表格。

例如，为了节省时间和内存，我们尝试不使用所有数据。这里我们只考虑评论了超过50本书的用户，以及被超过50个用户评论过的书籍。这样，我们将数据集缩减到原始大小的15%以下。

然后，我们可以使用pandas的“pivot table”函数将其转换为矩阵。

结果是一个5593行、2898列的矩阵。

在这里，我们在矩阵中表示了5593个用户和2898本书。然后我们应用SVD（这需要一段时间）。

默认情况下，svd()返回一个完整的奇异值分解。我们选择降秩版本，以便可以使用较小的矩阵来节省内存。vh的列对应于书籍。我们可以基于向量空间模型来查找哪本书与我们正在查看的书最相似。

在上面的例子中，我们尝试找到与第一列最匹配的书籍。结果是：

在推荐系统中，当用户选择了一本书，我们可以根据上面计算的余弦距离向她展示一些与她选择的书相似的其他书籍。

根据数据集的不同，我们可能会使用截断SVD来降低vh矩阵的维度。本质上，这意味着在用于计算相似度之前，我们删除了vh中对应奇异值较小的几行。这可能会使预测更准确，因为书籍中那些不那么重要的特征被排除在考虑之外。

请注意，在分解 $M=U\cdot\Sigma\cdot V^T$ 中，我们知道 $U$ 的行是用户，$V^T$ 的列是书籍，我们无法确定 $U$ 的列或 $V^T$ 的行（同样，$\Sigma$ 的列/行）的确切含义。我们知道它们可能是类型，例如，提供了用户和书籍之间的一些潜在联系，但我们不能确定它们到底是什么。然而，这并不能阻止我们将它们用作推荐系统中的**特征**。

总而言之，完整的代码如下：

延伸阅读

如果您想深入了解，本节提供了更多关于该主题的资源。

书籍

• 线性代数导论，第五版，2016。

API

• pandas.DataFrame.pivot API
• numpy.linalg.svd API
• sklearn.decomposition.TruncatedSVD API

文章

• 维基百科上的向量空间模型
• 维基百科上的奇异值分解

总结

在本教程中，您了解了如何使用奇异值分解构建推荐系统。

具体来说，你学到了：

• 奇异值分解对矩阵的意义
• 如何解释奇异值分解的结果
• 从奇异值分解得到的矩阵 $V^T$ 的列中查找相似度，并基于相似度进行推荐

掌握机器学习线性代数！

建立对线性代数的工作理解

...通过在 python 中编写代码

在我的新电子书中探索如何实现
机器学习线性代数

它提供关于以下主题的自学教程：
向量范数、矩阵乘法、张量、特征分解、SVD、PCA 等等...

最终理解数据的数学

跳过学术理论。只看结果。

查看内容