如何定义你的机器学习问题

任何项目的第一步都是定义问题。你可以使用最强大、最先进的算法，但如果你解决的是错误的问题，那么结果将毫无意义。

在这篇文章中，你将学习到在开始之前如何深入思考问题的过程。这无疑是应用机器学习最重要的方面。

问题是什么？
照片归属于 Eleaf，保留部分权利

问题定义框架

在定义一个要用机器学习解决的新问题时，我使用一个简单的框架。这个框架帮助我快速理解问题的要素和动机，以及机器学习是否适用。

该框架涉及以不同程度的详尽度回答三个问题

• 第 1 步：问题是什么？
• 第 2 步：为什么需要解决这个问题？
• 第 3 步：我将如何解决这个问题？

第 1 步：问题是什么

第一步是定义问题。我使用多种策略来收集这些信息。

非正式描述

像向朋友或同事描述问题一样来描述它。这可以为你提供一个很好的起点，突出你可能需要补充的领域。它还为你提供了一个可以用一句话来分享你对问题的理解的基础。

例如：我需要一个程序，能告诉我哪些推文会被转发。

形式化

在之前一篇关于定义机器学习的博文中，你学习了 Tom Mitchell 的机器学习形式化定义。这里再回顾一下以加深你的记忆。

一个计算机程序被认为从经验 E 中学习，针对某一类任务 T 和性能度量 P，如果它在 T 中的任务上的性能（用 P 度量）随着经验 E 的增加而提高。

使用这个形式化定义来界定你问题的 T、P 和 E。

例如：

• 任务 (T)：将一条尚未发布的推文分类为会被转发或不会被转发。
• 经验 (E)：一个账户的推文语料库，其中一些被转发了，一些没有。
• 性能 (P)：分类准确率，即正确预测的推文数量占所有被考虑的推文总数的百分比。

假设

创建一个关于问题及其表述的假设清单。这些可能是你认为能让你更快地得到可行解决方案的经验法则和领域特定信息。

突出那些可以用真实数据检验的问题是很有用的，因为当假设和最佳实践在真实数据面前被证明是错误时，就会出现突破和创新。突出问题规范中可能需要挑战、放宽或收紧的领域也很有用。

例如：

• 推文中使用的特定词语对模型很重要。
• 转发的具体用户对模型不重要。
• 转发的数量可能对模型很重要。
• 较旧的推文比最近的推文预测性更差。

质疑一切！
照片归属于 dullhunk，保留部分权利

类似问题

你见过或能想到的其他类似你正在尝试解决的问题有哪些？其他问题可以通过突出你对问题表述中的局限性（例如时间维度和概念漂移，即被建模的概念随时间变化）来为你要解决的问题提供信息。其他问题也可以指向可以用来检验性能的算法和数据转换方法。

例如：一个相关的问题是电子邮件垃圾邮件识别，它使用文本消息作为输入数据，需要进行二元分类决策。

第 2 步：为什么需要解决这个问题？

第二步是深入思考你为什么想要或需要解决这个问题。

动机

考虑你解决这个问题的动机。当问题解决后，什么需求会得到满足？

例如，你可能把解决这个问题当作一个学习练习。明确这一点很有用，因为你可以决定不使用最适合的方法来解决问题，而是想探索你不熟悉的方法以学习新技能。

或者，你可能需要解决这个问题作为工作职责的一部分，最终是为了保住你的工作。

解决方案的好处

考虑解决问题后带来的好处。它能实现哪些能力？

明确问题解决后的好处非常重要，以确保你能充分利用它们。这些好处可以用来向同事和管理层推销项目，以获得支持和额外的时间或预算资源。

如果这对你个人有好处，那么要清楚这些好处是什么，以及你如何知道你已经得到了它们。例如，如果它是一个工具或实用程序，那么有了这个实用程序你将能做什么现在做不到的事情，以及为什么这对你有意义？

解决方案的使用

考虑问题的解决方案将如何被使用，以及你期望该解决方案的生命周期是怎样的。作为程序员，我们常常认为程序一写完工作就完成了，但实际上项目只是刚刚开始其维护生命周期。

解决方案的使用方式将影响你所采用解决方案的性质和要求。

考虑你是想写一份报告来呈现结果，还是想将解决方案投入运营。如果你想将解决方案投入运营，就像一个软件项目一样，考虑你对解决方案的功能性和非功能性要求。

第 3 步：我将如何解决这个问题？

在问题定义的第三步也是最后一步，探索你将如何手动解决这个问题。

一步一步地列出你将收集什么数据，如何准备它，以及你将如何设计一个程序来解决这个问题。这可能包括你需要执行的原型和实验，这是一座金矿，因为它们会突出你对该领域存在的疑问和不确定性，这些都可以进行探索。

这是一个强大的工具。它可以突出那些实际上可以用手动实现的解决方案令人满意地解决的问题。它还能梳理出至今为止被困住的重要领域知识，比如数据实际存储在哪里，什么类型的特征会有用，以及许多其他细节。

在你想到这些细节时收集它们，并更新问题定义的前几个部分。特别是假设和经验法则。

我们在描述为什么机器学习很重要中的复杂问题时，曾经考虑过手动指定的解决方案。

总结

在这篇文章中，你学习了明确你正在解决的问题的价值。你发现了一个三步框架来定义你的问题，每一步都有实用的策略

• 第 1 步：问题是什么？非正式和正式地描述问题，并列出假设和类似问题。
• 第 2 步：为什么需要解决这个问题？列出你解决问题的动机、解决方案提供的好处以及解决方案将如何被使用。
• 第 3 步：我将如何解决这个问题？描述如何手动解决问题以梳理领域知识。

你如何为机器学习定义你的问题？你是否使用过上述任何策略？如果使用过，你的经历是什么？请留言。