机器学习的计算机硬件

一个不时出现的问题是

我需要什么硬件来练习机器学习？

我还在上学的时候，曾经痴迷于更快的速度和更多的核心，以便我能更快、更长时间地运行我的算法。我的观点已经改变了。强大的硬件仍然很重要，但前提是您已经考虑了许多其他因素。

TRS 80！
照片作者 blakespot，部分权利保留。

硬件 经验

经验是，如果你才刚开始，你的硬件并不重要。专注于使用适合内存的小型数据集进行学习，例如来自UCI机器学习库的数据集。

学习良好的实验设计，确保提出正确的问题，并通过测试各种算法并从统计假设检验的角度解读结果来挑战你的直觉。

一旦硬件开始变得重要，你确实需要大量的核心和大量的RAM，那就为你精心设计的项目或实验按需租用。

更多的CPU！更多的RAM！

刚开始接触人工智能和机器学习时，我还很天真。我会使用所有可用的数据，并将其运行到我的算法中。我会微调参数来重新运行模型，以提高最终得分。我会运行我的模型数天甚至数周。我非常痴迷。

这主要是因为比赛引起了我对提升机器学习技能的兴趣。痴迷是好事，你可以很快学到很多东西。但是如果应用不当，你可能会浪费很多时间。

那时候我自己组装电脑。我经常更新我的CPU和RAM。那是2000年代初，多核并不是一个清晰的道路（对我而言），甚至GPU在非图形用途方面也很少被提及（至少在我身边是这样）。我需要更大、更快的CPU，而且需要很多很多RAM。我甚至征用了室友的电脑，以便我可以进行更多的运行。

后来在研究生阶段，我能够使用实验室里的小型集群，并充分利用了它。但事情开始发生变化，我拥有的原始计算能力多少开始变得不那么重要了。

认真对待机器学习的GPU硬件。
照片作者 wstryder，部分权利保留。

结果是错误的

我转变的第一步是发现了良好的（任何）实验设计。我发现了统计假设检验的工具，这些工具让我能够了解一个结果与另一个结果相比是否真的有显著差异（例如更好）。

突然之间，我认为我取得的微小改进不过是统计上的波动。这是一个重要的变化。我开始花更多的时间思考实验设计。

问题是错误的

我将我的痴迷转移到确保我提出正确的问题上。

我现在花很多时间预先加载我能想到的关于给定问题的尽可能多的问题和问题的变体。我希望确保在我运行长时间的计算作业时，我得到的结果确实有意义。它们将对问题产生影响。

你可以看到，我强烈提倡花大量时间定义你的问题。

直觉是错误的

良好的假设检验揭示了你对自己了解多少。至少对我来说是这样，现在仍然是。我“知道”某个算法的某个配置是稳定、可靠且良好的。通过统计检验的视角解读结果很快就教会了我并非如此。

这转移了我的思维方式，让我不再依赖我旧有的直觉，而是通过统计显著结果的视角重建我的直觉。

现在，我不敢假设我知道哪种算法或哪类算法在一个给定的问题上会表现出色。我抽样检查各种算法，让数据引导我。

我还强烈建议仔细考虑测试选项，并使用像Weka实验器这样的工具，这些工具在解释结果时内置了假设检验。

最优并非最优

对于某些问题，最好的结果是脆弱的。

我过去曾热衷于非线性函数优化（以及相关的比赛），你可以花费大量的计算时间来探索（事后看来，基本上是列举！）搜索空间，并找到比容易找到的解决方案略好的结构或配置。

问题是，那些难以找到的配置通常非常奇怪，或者利用了领域或模拟器中的错误或怪癖。这些解决方案对于比赛或实验来说是好的，因为数字更好，但不一定适用于领域或实际操作。

我在机器学习比赛中看到了同样的模式。一个快速且易于找到的解决方案在给定的性能指标上较低，但它是稳健的。通常，一旦你投入数天、数周甚至数月来调整你的模型，你就建立了一个脆弱的玻璃模型，这个模型过拟合了训练数据和/或排行榜。这对学习和在比赛中表现良好很有帮助，但不一定适用于实际操作（例如，Netflix Prize 获奖系统并未部署）。

数据中心内的机器学习。
照片作者 bandarji，部分权利保留。

机器学习硬件

存在需要强大硬件的大数据。学习大规模机器学习需要大数据和强大的硬件。

在这个网站上，我主要关注机器学习的初学者，他们使用小型硬件和小型数据要好得多。一旦你掌握了机器学习的足够知识，就可以进阶到更大的问题。

今天，我有一台iMac i7，拥有很多核心和8 GB内存。这是一台普通的台式机，并且可以胜任工作。我认为你的工作站或笔记本电脑足以开始机器学习。

我确实偶尔需要更强大的硬件，例如参加比赛或满足我个人的兴趣。在这些场合，我会租用云基础设施，启动一些实例并运行我的模型，然后下载CSV预测或其他文件。这在时间和金钱上都非常划算。

当您需要使用强大的硬件和大数据进行实践时，租用它。在您自己的教育上投入少量资金，设计一些仔细的实验，并租用集群来执行它们。

您使用什么硬件来练习机器学习？ 请留言分享您的经验。