使用关联规则学习的市场篮子分析

数据挖掘的承诺是，算法会处理数据并找出可以利用在您的业务中的有趣模式。

这一承诺的典范是市场篮子分析（维基百科称之为亲和力分析）。给定大量的交易记录，发现有趣的购买模式，可以用来在商店中利用，例如促销和产品布局。

在这篇文章中，您将通过关联规则学习在Weka 中完成一个市场篮子分析教程。如果您遵循分步说明，您将在 5 分钟内对销售点数据运行市场篮子分析。

通过我的新书《Weka 机器学习精通》启动您的项目，书中包含分步教程和所有示例的清晰屏幕截图。

让我们开始吧。

市场篮子分析
图片由 HealthGauge 提供，保留部分权利。

关联规则学习

我曾为一家初创公司做过咨询工作，该公司正在研究 SaaS 应用中的客户行为。我们对表明客户流失或从免费账户转换为付费账户的行为模式感兴趣。

我花了数周时间仔细研究数据，查看相关性和图表。我得出了一系列表明结果的规则，并提出了可能干预以影响这些结果的设想。

我得出了类似这样的规则：“*用户在 y 天内创建了 x 个小部件，并登录了 n 次，那么他们将转化*”。我给这些规则赋予了数字，例如支持度（与规则匹配的记录占所有记录的比例）和提升度（使用该规则预测转化时的预测准确性提升百分比）。

直到我交付并提交报告后，我才意识到我犯了一个多么严重的错误。我竟然是手工完成了关联规则学习，而实际上有现成的算法可以替我完成这项工作。

我分享这个故事是为了让它留在您的脑海中。如果您正在筛选大型数据集以寻找有趣的模式，关联规则学习是一套您应该使用的方法。

1. 启动 Weka Explorer

在之前的教程中，我们已经学习了运行分类器、设计和运行实验、算法调优和集成方法。如果您需要有关下载和安装 Weka 的帮助，请参阅这些之前的帖子。

Weka GUI 选择器

启动 Weka Explorer。

2. 加载超市数据集

Weka 附带了 Weka 安装“data”目录中的许多真实数据集。这非常方便，因为您可以探索和实验这些著名的项目，并了解 Weka 中可用的各种方法。

加载超市数据集（data/supermarket.arff）。这是一个销售点信息的 数据集。数据是标称型的，每个实例代表一次超市客户交易，购买的产品以及涉及的部门。关于这个数据集的在线信息不多，尽管您可以 看到这个评论（“使用 supermarket.arff 进行学术研究的问题”），这是收集数据的个人提供的。

超市数据集已加载到 Weka Explorer 中

该数据包含 4,627 个实例和 217 个属性。数据是反规范化的。每个属性都是二元的，要么有一个值（“*t*”表示真），要么没有值（“*?*”表示缺失）。有一个名为“total”的标称类属性，表示交易金额是低于 100 美元（low）还是高于 100 美元（high）。

我们不关心创建“total”的预测模型。相反，我们关心的是哪些商品被一起购买。我们感兴趣的是在该数据中找到可能与预测属性相关或不相关的有用模式。

3. 发现关联规则

在 Weka Explorer 中点击“Associate”选项卡。“Apriori”算法将已自动选中。这是最著名的关联规则学习方法，因为它可能是最早的（1994 年由Agrawal 和 Srikant提出），并且效率非常高。

原则上，该算法非常简单。它构建属性-值（项）集，以最大化可以解释的实例数量（数据集的覆盖范围）。项空间的搜索在很大程度上类似于属性选择和子集搜索所面临的问题。

点击“Start”按钮在数据集上运行 Apriori。

4. 分析结果

关联规则学习的真正工作在于对结果的解释。

Weka 中 Apriori 关联规则学习的结果

从“Associator output”窗口中可以看出，该算法从超市数据集中提取了 10 条规则。该算法默认配置为停止在 10 条规则，如果您愿意，可以通过更改“numRules”值来点击算法名称进行配置，以查找和报告更多规则。

发现的规则是

1. biscuits=t frozen foods=t fruit=t total=high 788 ==> bread and cake=t 723 conf:(0.92)
2. baking needs=t biscuits=t fruit=t total=high 760 ==> bread and cake=t 696 conf:(0.92)
3. baking needs=t frozen foods=t fruit=t total=high 770 ==> bread and cake=t 705 conf:(0.92)
4. biscuits=t fruit=t vegetables=t total=high 815 ==> bread and cake=t 746 conf:(0.92)
5. party snack foods=t fruit=t total=high 854 ==> bread and cake=t 779 conf:(0.91)
6. biscuits=t frozen foods=t vegetables=t total=high 797 ==> bread and cake=t 725 conf:(0.91)
7. baking needs=t biscuits=t vegetables=t total=high 772 ==> bread and cake=t 701 conf:(0.91)
8. biscuits=t fruit=t total=high 954 ==> bread and cake=t 866 conf:(0.91)
9. frozen foods=t fruit=t vegetables=t total=high 834 ==> bread and cake=t 757 conf:(0.91)
10. frozen foods=t fruit=t total=high 969 ==> bread and cake=t 877 conf:(0.91)

很酷，对吧！

您可以看到规则是以“前项 => 后项”的格式呈现的。与前项关联的数字是数据集中绝对覆盖数（在本例中为总共 4,627 个中的一个数字）。与后项关联的数字是匹配前项和后项的实例的绝对数量。括号中的数字是规则的支持度（前项数量除以匹配后项的数量）。您可以看到选择规则时使用了 91% 的阈值，这在“Associator output”窗口中提到过，并且在此处显示为没有规则的覆盖率低于 0.91。

我不想一一介绍这 10 条规则，那样太繁琐了。以下是一些观察结果：

• 我们可以看到所有呈现的规则的后项都是“bread and cake”。
• 所有呈现的规则都表明总交易金额较高。
• “biscuits”和“frozen foods”出现在许多呈现的规则中。

您必须非常小心地解释关联规则。它们是关联（考虑相关性），不一定是因果关系。此外，较短的前项可能比更长的前项更稳健，后者更可能脆弱。

增加篮子尺寸
图片由 goosmurf 提供，保留部分权利。

例如，如果我们对总金额感兴趣，我们可能会想说服购买饼干、冷冻食品和水果的顾客购买面包和蛋糕，以便他们获得高总交易金额（规则 #1）。这听起来似乎有道理，但推理是错误的。产品组合并不会导致高总金额，它仅仅与高总金额相关。那 723 笔交易可能除了规则中的商品外，还有大量随机的其他商品。

可能有趣的是测试模型通过商店的路径来收集相关商品，并观察路径的变化（更短、更长、展示的促销等）是否会影响交易金额或篮子尺寸。

总结

在这篇文章中，您发现了从大型数据集中自动学习关联规则的强大功能。您了解到，与手工推导规则相比，使用 Apriori 等算法是一种更有效的方法。

您在 Weka 中进行了第一次市场篮子分析，并了解到真正的工作在于对结果的分析。您发现了在解释规则时所需的细致关注，并且关联（相关性）不等于因果关系。

探索无需代码的机器学习！

在几分钟内开发您自己的模型

...只需几次点击

在我的新电子书中探索如何实现
使用 Weka 精通机器学习

涵盖自学教程和端到端项目，例如
加载数据、可视化、构建模型、调优等等...

最终将机器学习应用到你自己的项目中

跳过学术理论。只看结果。

查看内容