处理机器学习大型数据文件的 7 种方法

探索和应用机器学习算法于无法载入内存的数据集是相当普遍的。

这会导致一些问题，例如：

• 我如何加载我的多个千兆字节的数据文件？
• 当我尝试运行我的数据集时，算法崩溃了，我该怎么办？
• 你能帮我解决内存不足的错误吗？

在这篇文章中，我想提供一些您可能需要考虑的常见建议。

处理机器学习大型数据文件的 7 种方法
照片由 Gareth Thompson 提供，部分权利保留。

1. 分配更多内存

某些机器学习工具或库可能受限于默认内存配置。

检查您是否可以通过重新配置工具或库来分配更多内存。

一个很好的例子是 Weka，您可以在启动应用程序时 通过参数增加内存。

2. 使用更小的样本

您确定需要处理所有数据吗？

抽取数据的随机样本，例如前 1,000 行或 100,000 行。使用这个较小的样本来解决您的问题，然后再使用渐进式数据加载技术在所有数据上拟合最终模型。

我认为这对于机器学习来说是一个很好的通用实践，可以快速检查算法并获得结果。

您还可以考虑对用于拟合算法的数据量与模型技能进行敏感性分析。也许有一个自然的收益递减点，您可以将其用作较小样本的启发式大小。

3. 使用内存更大的计算机

您必须在您的计算机上工作吗？

也许您可以访问一台拥有数量级更多内存的更大计算机。

例如，一个不错的选择是在云服务（如 Amazon Web Services）上租用计算时间，该服务提供具有数十 GB RAM 的机器，每小时不到一美元。

我过去发现这种方法非常有用。

请参阅这篇博文

• 如何在 Amazon Web Services 上使用 Keras 开发和评估大型深度学习模型

4. 更改数据格式

您的数据是否以纯文本 ASCII 格式存储，例如 CSV 文件？

也许您可以通过使用另一种数据格式来加快数据加载速度并减少内存使用。一个很好的例子是二进制格式，如 GRIB、NetCDF 或 HDF。

有许多命令行工具可用于将一种数据格式转换为另一种数据格式，而无需将整个数据集加载到内存中。

使用另一种格式可能允许您以更紧凑的形式存储数据，从而节省内存，例如 2 字节整数或 4 字节浮点数。

5. 流式传输数据或使用渐进式加载

所有数据是否需要同时加载到内存中？

也许您可以使用代码或库来根据需要流式传输或渐进式加载数据到内存中进行训练。

这可能需要能够使用优化技术（如随机梯度下降）进行迭代学习的算法，而不是需要所有数据都在内存中才能执行矩阵运算的算法，例如线性回归和逻辑回归的某些实现。

例如，Keras 深度学习库提供了此功能，用于渐进式加载图像文件，称为 flow_from_directory。

另一个例子是 Pandas 库，它可以 逐块加载大型 CSV 文件。

6. 使用关系数据库

关系数据库提供了存储和访问非常大的数据集的标准方法。

内部数据存储在磁盘上，可以分批渐进式加载，并可以使用标准查询语言 (SQL) 进行查询。

MySQL 或 Postgres 等免费开源数据库工具可以使用，并且大多数（或全部？）编程语言和许多机器学习工具都可以直接连接到关系数据库。您也可以使用轻量级方法，例如 SQLite。

我发现这种方法对于非常大的表格数据集来说非常有效。

同样，您可能需要使用能够处理迭代学习的算法。

7. 使用大数据平台

在某些情况下，您可能需要求助于大数据平台。

也就是说，一个专为处理非常大的数据集而设计的平台，允许您在其之上使用数据转换和机器学习算法。

两个很好的例子是 Hadoop（带有 Mahout 机器学习库）和 Spark（带有 MLLib 库）。

我相信这是最后的手段，当您已经尝试了上述所有选项时，如果仅仅是因为它给您的机器学习项目带来了额外的硬件和软件复杂性。

尽管如此，有些问题的数据量确实很大，而前面的选项无法解决。

总结

在这篇文章中，您了解了在处理机器学习的非常大的数据文件时可以使用的一些策略。

您还知道其他方法或尝试过吗？
请在下面的评论中分享。

您尝试过这些方法吗？
请在评论中告诉我。