什么是机器学习？

您对机器学习感兴趣，也许您还略知一二。

如果您有一天和朋友或同事谈论机器学习，您可能会被问到：

“那么，什么是机器学习？”

这篇文章的目标是为您提供一些可以思考的定义，以及一个易于记忆的实用一句话定义。

我们将从机器学习的标准定义开始，这些定义取自该领域的权威教科书。最后，我们将提出一个开发者对机器学习的定义和一个实用的“一句话”定义，以便我们随时可以回答：“什么是机器学习？”。

权威定义

让我们先来看看四本在大学课程中常用的机器学习教科书。

这些是我们的权威定义，为我们深入思考该主题奠定了基础。

我选择这四个定义是为了突出该领域一些有用且多样的观点。通过经验，我们将了解到该领域确实是方法论的混乱集合，选择一个视角是取得进展的关键。

Mitchell的机器学习

Tom Mitchell在他的《机器学习》一书中，在前言的开头提供了这样一个定义：

机器学习领域关注的问题是如何构建能够通过经验自动改进的计算机程序。

我喜欢这个简洁明了的定义，它是我们将在文章结尾提出的开发者定义的基础。

请注意提到了“计算机程序”和“自动化改进”。编写能够自我改进的程序，这非常引人深思！

在他的介绍中，他提供了一个被广泛引用的简短形式化定义：

不要被术语定义吓倒，这是一个非常有用的形式化。

我们可以将此形式化用作模板，将E、T和P放在表格的列首，并列出复杂的问题，从而减少歧义。它可以作为设计工具，帮助我们清晰地思考要收集哪些数据（E），软件需要做出哪些决策（T），以及我们将如何评估其结果（P）。这种能力使其被反复引用为标准定义。请将其记在心里。

统计学习要素

《统计学习要素：数据挖掘、推理与预测》由三位斯坦福大学的统计学家撰写，他们自称为组织其研究领域的统计学框架。

在前言中写道：

许多领域正在生成海量数据，统计学家的工作就是理解这一切：提取重要的模式和趋势，并理解“数据说明了什么”。我们称之为从数据中学习。

我理解统计学家的工作是利用统计学工具，在特定领域背景下解释数据。作者似乎将机器学习的整个领域都包含在这一追求中。有趣的是，他们在书的副标题中选择了“数据挖掘”。

统计学家从数据中学习，软件也如此，而我们则从软件学习的东西中学习。从各种机器学习方法所做的决策和取得的结果中学习。

模式识别

Bishop在他的《模式识别与机器学习》一书的前言中评论道：

模式识别起源于工程领域，而机器学习则源于计算机科学。然而，这些活动可以被视为同一领域的两个方面……

读到这里，你会觉得Bishop是从工程角度切入该领域的，后来才学习并利用了计算机科学对同一方法的视角。模式识别是一个工程或信号处理术语。

这是一种成熟的方法，也是我们应该效仿的。更广泛地说，无论哪个领域声称拥有某种方法，只要它能帮助我们更接近洞察或通过“从数据中学习”来获得结果，满足我们的需求，那么我们就可以将其称为机器学习。

算法视角

Marsland在他的《机器学习：算法视角》一书中采用了Mitchell对机器学习的定义。

他在序言中提供了一个发人深省的观点，激励他写这本书：

机器学习最有趣的特点之一是它横跨了几个不同的学术领域，主要是计算机科学、统计学、数学和工程学……机器学习通常被作为人工智能的一部分来研究，这使其牢牢地属于计算机科学的范畴……理解这些算法为何有效需要一定程度的统计学和数学上的成熟度，而这在计算机科学本科生中常常是缺失的。

这很有见地且具启发性。

首先，他强调了该领域的跨学科性。我们从上面的定义中已经感受到了这一点，但他对此作了明确的强调。机器学习借鉴了各种信息科学。

其次，他强调了过于固守某个特定视角的危险。特别是，算法专家回避方法的数学内部运作的情况。

毫无疑问，统计学家回避实施和部署的实际问题的反例同样具有局限性。

文氏图

Drew Conway在2010年9月创建了一个精美的文氏图，可能会有所帮助。

在他解释中，他评论道：机器学习 = 黑客技术 + 数学与统计学

数据科学文氏图。归功于Drew Conway，知识共享许可为署名-非商业性使用。

他还描述了危险区域为黑客技能+专业知识。

在这里，他指的是那些了解程度足以造成危险的人。他们能够访问和构建数据，了解领域知识，并且能够运行方法并呈现结果，但却不理解结果的含义。我认为这可能就是Marsland在暗示的。

开发者的机器学习定义

现在，我们转向为我们开发者将所有这些分解为基础知识的必要性。

我们首先审视那些难以分解和程序化解决的复杂问题。这凸显了机器学习的力量。然后，我们将制定一个适合我们开发者、并且可以随时回答“那么，什么是机器学习？”的定义。

复杂问题

作为一名开发者，您最终会遇到一些顽固地拒绝逻辑和程序化解决方案的问题类别。

我的意思是，有些问题类别，坐下来写出解决问题所需的所有if语句是不可行的或不经济的。

“亵渎神圣！”我听到你的开发者大脑在尖叫。

这是真的。

以识别垃圾邮件和非垃圾邮件的日常决策问题为例。这是介绍机器学习时经常使用的例子。您将如何编写一个程序来过滤您电子邮件账户收到的电子邮件，并决定将其放入垃圾邮件文件夹还是收件箱？

您可能会先收集一些例子，然后仔细看看并深入思考。您会寻找垃圾邮件和非垃圾邮件中的模式。您会考虑抽象这些模式，以便您的启发式方法能够处理未来的新情况。您会忽略那些永远不会再次出现的奇怪电子邮件。您会争取轻松获胜，以提高准确性，并为边缘情况 craft 特殊的东西。您会定期审查电子邮件，并考虑抽象新模式以改进决策。

其中存在一个机器学习算法，但它是由您（程序员）而不是计算机执行的。这种手动导出的硬编码系统只会和程序员从数据中提取规则并将其实现到程序中的能力一样好。

可以做到，但这将耗费大量资源，并且是维护的噩梦。

机器学习

在上面的例子中，我确信您的开发者大脑，那个无情地寻求自动化的部分，能够看到从示例中提取模式的元过程的自动化和优化机会。

机器学习方法就是这种自动化过程。

在我们对垃圾邮件/非垃圾邮件的例子中，例子（E）是我们收集的电子邮件。任务（T）是一个决策问题（称为分类），即将每封电子邮件标记为垃圾邮件或非垃圾邮件，并将其放入正确的文件夹。我们的性能度量（P）可能是准确率百分比（正确决策数除以总决策数乘以100），范围从0%（最差）到100%（最好）。

准备这样一个决策程序通常称为训练，其中收集的例子称为训练集，程序被称为模型，就像垃圾邮件分类问题的模型一样。作为开发者，我们喜欢这个术语，模型具有状态并且需要持久化，训练是一个执行一次的过程，并且可能会根据需要重新运行，分类是执行的任务。这一切对我们来说都有意义。

我们可以看到，上面定义中使用的一些术语对程序员来说不太合适。从技术上讲，我们编写的所有程序都是自动化，评论说机器学习会自动学习是没有意义的。

实用的“一句话”定义

那么，让我们看看是否可以使用这些部分来构建一个开发者的机器学习定义。怎么样？

机器学习是从数据中训练模型，该模型根据性能度量来泛化决策。

训练模型暗示了训练示例。模型暗示了通过经验获得的状态。泛化决策暗示了根据输入做出决策的能力，并预期未来需要决策的未见输入。最后，根据性能度量暗示了目标需求和模型准备的方向性。

我不是诗人，您能想出更准确或更简洁的开发者机器学习定义吗？
在下面的评论中分享您的定义。

进一步阅读

我在整篇文章中都提供了链接资源，但如果您渴望阅读更多内容，我在此列出了一些有用的资源。

书籍

以下是文中引用了定义的四本教科书。

• 机器学习 by Mitchell
• 统计学习要素：数据挖掘、推理与预测 by Hastie, Tibshirani and Friedman
• 模式识别与机器学习 by Bishop
• 机器学习：算法视角 by Marsland。

此外，Drew Conway与John Myles White合作撰写了一本实用且有趣的名为《机器学习黑客之道》的书。

问答网站

问答网站上有一些关于机器学习到底是什么的有趣讨论，以下是一些精选：

• Quora非常适合这类高层次的问题，请浏览一些。我的选择是：通俗易懂的机器学习是什么？ 和 什么是数据科学？
• Cross Validated在此类高层次问题上有一些精彩的讨论。请参阅两种文化：统计学vs机器学习？。此讨论中提到的两个资源是博客文章统计学vs机器学习，开战！和论文统计建模：两种文化。
• Stack Overflow也有一些讨论，例如，请查看什么是机器学习？

我认真思考了所有这些，我的定义受到我读过的书和我的经验的影响。如果它有用，请告诉我。

请留下评论，让我们所有人都知道您如何理解这个领域。您眼中的机器学习是什么？您知道还有哪些我们可以参考的资源吗？
在下面的评论中告诉我。