面向开发人员的机器学习

我该如何开始学习机器学习？

我是一名开发者。我读过一些关于机器学习的书籍或文章。我观看过一些 Coursera 上的机器学习课程。但我仍然不知道该如何开始……

这听起来熟悉吗？

对机器学习书籍和课程感到沮丧？
你如何开始学习机器学习？
图片由 Peter Alfred Hess 拍摄，保留部分权利

我的时事通讯订阅者中最常问我的问题是

如何开始机器学习？

我真的不记得我回答过多少次了。

在这篇文章中，我将阐述我对这个话题的所有最佳思考。

• 您将发现为什么传统的机器学习教学方法对您不起作用。
• 您将发现如何颠覆整个模式。
• 您将发现我简单但非常有效的解决方案，您可以用来入门。

让我们开始吧……

对机器学习感兴趣的开发者

你是一名开发者，你对进入机器学习领域感兴趣。为什么不呢？目前这是一个热门话题，而且是一个迷人且快速发展的领域。

你阅读了一些博客文章。你尝试深入学习，但那些书太糟糕了。专注于数学。专注于理论。专注于算法。

听起来熟悉吗？你尝试过书籍、MOOCs、博客文章，但仍然不知道如何开始学习机器学习吗？

你尝试了一些视频课程。你注册并认真尝试了经常被提及的 Coursera 斯坦福机器学习 MOOC。它并没有比书籍和详细的博客文章好多少。你搞不懂大家为什么如此推崇它，为什么推荐给初学者。

您甚至可能尝试过一些小数据集，也许是入门级的 Kaggle 竞赛。

问题在于你无法将书本和课程中的理论、算法和数学与问题联系起来。这之间存在巨大的鸿沟。一个深渊。**你究竟该如何开始学习机器学习？**

机器学习工程师

当您展望未来，一旦您掌握了这种难以捉摸的机器学习理解，您的工作会是怎样的？您在日常工作中如何运用您新获得的机器学习技能？

我想我能看出来。你是一名机器学习工程师。你是一名懂得如何“做”机器学习的开发者。

你想从开发者转型为能够从事机器学习的开发者吗？

场景一：一次性模型

你的老板走过来对你说

嘿，你懂机器学习，对吧？你能用去年的客户数据预测我们销售渠道中哪些现有客户可能会转化吗？我想在下周的董事会演示中使用它……

我称之为一次性模型。

问题被你的老板定义得很清楚。她给你数据，如果需要，这些数据足够小，可以在 MS Excel 中查看和理解。她想要准确可靠的预测。

你能做到。更重要的是，你能解释所有关于结果的相关注意事项。

场景二：嵌入式模型

您和您的团队正在从利益相关者那里收集软件项目的需求。其中有一个需求是用户能够在软件中徒手绘制形状，并且软件能够识别出是什么形状，将其转换为清晰明确的版本并进行适当的标注。

你很快就意识到解决这个问题的最佳（也是唯一可行？）方法是设计和训练一个预测模型并将其嵌入到你的软件产品中。

我称之为嵌入式模型。有多种变体（例如模型是静态的还是更新的，以及它是本地的还是通过 API 远程调用的），但这只是细节。

在这个场景中，关键在于您有经验能够发现最适合用预测模型解决的问题，并且具备设计、训练和部署它的技能。

场景三：深度模型

您已经开始了一份新工作，您正在处理的系统由至少一个预测模型组成。对该系统的维护和功能添加需要理解模型、其输入和输出。模型的准确性是软件产品的一个特性，您的部分工作将是提高它。

例如，作为常规发布前系统测试的一部分，您必须证明模型的准确性（在历史数据上验证时）与旧版本具有相同或更好的性能。

我称之为深度模型。您需要对一个特定的预测模型建立深入的理解，并运用您的经验和技能，作为日常工作的一部分，改进和验证其准确性。

那个“做”机器学习的开发者

这些场景让您对一名懂得如何进行机器学习的开发者有了初步的了解。它们是真实的，因为它们都是我曾经经历过或必须完成的任务的变体。

这三个场景都非常清楚地说明了一件事。尽管机器学习是一个引人入胜的领域，但对于开发者而言，机器学习算法只是又一堆技巧，就像多线程或 3D 图形编程一样。然而，它们是一组强大的方法，对于特定类型的问题而言，是绝对必需的。

“我该如何开始？”的传统答案

那么，你如何开始学习机器学习呢？

如果你翻开一本机器学习书籍寻找这个问题的答案，你会大吃一惊。它们从定义开始，然后转向越来越复杂的概念和算法的数学描述。

关于“如何开始机器学习”这个问题的传统答案是自下而上的。

定义和数学描述清晰、简洁且通常没有歧义。问题是，它们枯燥乏味，需要相应的数学背景才能解析和解释。

机器学习通常在大学作为研究生课程教授是有原因的。这是因为这种“第一原理”的教学方式需要多年的预备知识才能理解。

例如，建议您在以下方面有良好的基础

• 统计学
• 概率论
• 线性代数
• 多变量统计
• 微积分

如果你稍稍偏离一些更奇特有趣的算法，情况会变得更糟。

这种自下而上、专注于算法的机器学习方法无处不在。

在线课程、MOOC 和 YouTube 视频模仿了大学教授机器学习的方法。同样，如果您有背景知识，或者您已经投入了半到十年时间学习并获得了高等学位，这很好。但它对普通开发者没有帮助。

如果你悄悄溜到像 Quora、StackExchange 或 Reddit 这样的问答论坛，怯生生地问如何开始，你会被相同的回答拍打回来。通常，这些回答来自同样迷茫的同行开发者。这是一个充满了相同糟糕建议的巨大回音室。

难怪那些想做正确事情的诚实勤奋的开发者会认为，在他们觉得自己有资格“做”机器学习之前，他们必须回去上学并获得硕士或博士学位。

传统方法大错特错！

请稍加思考这种自下而上的机器学习教学方法。它严谨系统，表面上听起来是个好主意。它怎么会是错误的呢？

自下而上编程（或者如何扼杀初级程序员）

想象你是一位年轻的开发者。你学了一些这门那门语言，开始学习如何创建独立软件。

你告诉朋友和家人，你想从事一份每天都能编程的职业。他们告诉你，在找到程序员工作之前，你需要获得计算机科学学位。

你报名并开始攻读计算机科学学位。一个学期又一个学期，你接触到越来越多深奥的代数、微积分和离散数学。你使用过时的编程语言。你对编程和构建软件的热情动摇了。

传统的机器学习入门方法在通往实践者的道路上存在一个缺口。

也许你设法熬到了另一边。回过头来看，你意识到你没有被教授关于现代软件开发实践、语言、工具，或者任何你可以在创建和交付软件的过程中使用的东西。

看到机器学习教学的相似之处了吗？

值得庆幸的是，编程已经存在足够长时间，足够流行，对经济足够重要，所以我们找到了其他方法来赋予初出茅庐的年轻（或年长）程序员他们实际需要做的事情——即创建软件——所需的技能。

用可计算性或计算复杂性理论，甚至算法和数据结构的深层细节来充斥一个初级程序员的头脑是没有意义的。一些有用的材料（后者关于算法复杂性和数据结构）可以稍后学习。也许通过专注的材料——但重要的是在已经编程和交付软件的工程师的背景下，而不是孤立地学习。

值得庆幸的是，我们有专注的软件工程学位。我们也有像 codecademy 这样的资源，在那里你通过……是的，实际编程来学习编程。

如果一个开发者想“做”机器学习，他们真的需要花费几年时间，花费数万甚至数十万美元来获得所需的数学和高等学位吗？

答案当然不是！有更好的方法。

一个更好的方法

与计算机科学一样，您不能简单地颠倒模型并自上而下地教授相同的材料。

原因是，就像计算机科学课程从未涉及涵盖开发和交付软件的实际问题一样，机器学习课程和书籍也远远不够。它们止步于算法。

你需要一种自上而下的机器学习方法。这种方法侧重于你想要实现的实际结果：使用现代和“一流”的工具和平台，端到端地解决真实的机器学习问题。

一种更好的学习机器学习的方法，从端到端地解决机器学习问题开始。

这是我认为您的成功之路的样子。

1. 通过系统化流程实现可重复结果

一旦你掌握了一些工具，用机器学习算法解决一个问题并称之为“完成”相对容易。

这可能很危险。

你怎么知道你已经完成了？你怎么知道结果好不好？你怎么知道结果在数据集上是可靠的？

在解决机器学习问题时，你需要系统化。它是一个项目，就像一个软件项目一样，良好的流程可以使从一个项目到另一个项目获得高质量结果变得可重复。

考虑到这样的过程，您可以想到一些明确的需求，例如

• 一个从头到尾引导你的过程，从问题规范到结果的呈现或部署。就像一个软件项目，你可能认为你已经完成了，但你可能还没有。从一开始就牢记最终可交付成果，可以设定一个明确的项目停止条件并集中精力。
• 一个循序渐进的过程，这样你总是知道下一步该做什么。不知道下一步该做什么是一个项目杀手。
• 一个保证“良好”结果的过程，例如优于平均水平或足以满足项目需求的结果。项目非常常见需要可靠地交付具有已知置信水平的良好结果，而不一定是可能达到的最佳准确性。
• 一个不随特定工具、编程语言和算法时尚变化的流程。工具来来去去，流程必须适应。鉴于该领域对算法的痴迷，总有新的强大算法从学术界涌现。

选择一个系统化且可重复的流程，你可以用它来持续地交付结果。

有许多优秀的流程，包括一些您可以根据需要调整的旧流程。

例如

• 数据库中的知识发现 (KDD)，我在此处进行了调整
• CRISP-DM
• OSEMN
• 其他……

选择或调整最适合您并满足上述要求的流程。

2. 将“最佳”工具映射到您的流程中

机器学习工具和库来来去去，但在任何特定时间点，您都必须使用最能映射到您所选择的结果交付流程的工具。

你不想评估和选择任何旧的算法或库，你想要的是所谓的“最佳”工具，它能为你提供快速、可靠和高质量的结果，并尽可能地自动化你的流程。

同样，您必须自己做出这些选择。如果您询问任何人，您会听到他们的偏见，通常是他们正在使用的最新工具。

我有自己的偏好，我喜欢为不同类型的工作使用不同的工具和平台。

例如，在上面列出的场景中，我将推荐以下最佳工具：

• 一次性预测模型：Weka 平台，因为我可以加载 CSV，设计实验，并在无需编写任何代码的情况下，在短时间内获得最佳模型（请参阅我将其映射到流程中的示例）。
• 嵌入式预测模型：使用 scikit-learn 的 Python，因为我可以在部署模型的相同语言中开发模型。IPython 是向更广泛团队演示你的管道和结果的好方法。MLaaS 也是处理大数据的一个选择。
• 深度模型：使用 caret 包 的 R，因为我可以快速自动地尝试许多最先进的模型，并使用整个 R 平台设计出越来越复杂的特征选择、特征工程和算法调优实验。

实际上，这三种工具在三种场景中会根据具体情况相互渗透。

将您偏好的机器学习工具映射到您所选择的系统化问题解决流程中。

就像开发一样，您需要研究您的工具才能充分利用它们。您还需要密切关注并跳到更新更好的工具，如果以及何时它们可用，永远将它们适应您的可重复流程。

3. 有针对性的实践与半正式工作成果

通过实践——开发大量软件，您才能擅长开发。使用这种熟悉的方法来擅长机器学习。在每个项目中实践的流程越多，效果越好（理想情况下，端到端地解决问题）。

仔细选择您的实践数据集

您希望选择真实而非人为构造的数据集。有数以百计的免费数据集，其复杂性不断增加。

• 我建议从 UCI 机器学习存储库等地方的小型内存数据集开始。它们是众所周知的，相对干净，是您尝试新流程和工具的好起点。
• 从那里开始，我推荐更大的内存数据集，例如来自一些 Kaggle 和 KDD cup 竞赛的数据集。它们有点脏，需要您灵活运用更多不同的技能。

坚持使用表格数据，这是我给所有学生的建议。

处理图像和文本数据本身就是全新的不同领域（分别是计算机视觉和自然语言处理），它们需要您学习这些领域的专门方法和工具。如果您想或需要处理这些类型的问题，那么最好从那里开始，并且有许多优秀的资源可供利用。

我将在“使用 UCI 机器学习存储库中的小型内存数据集实践机器学习”一文中更详细地介绍如何进行有针对性的实践。

撰写您的成果并建立一个公开的作品集

从每个项目中创建并保留半正式的成果（我将其称为“工作产品”）。我的意思是，将您所做和所学的内容写成某种独立文档，以便您将来可以参考并利用这些成果进行后续项目。

这类似于作为开发人员，为每个编程项目保留一个目录，并重复利用以前项目中的代码和想法。这大大加快了学习进程，我强烈推荐它。

保留所有脚本、代码和生成的图像，但撰写您的发现也很重要。将其视为代码中的注释。独立的总结可以是简单的 PPT 或文本文件，也可以是像在聚会上演示或 YouTube 视频一样精心制作。

完成离散项目，撰写结果并建立项目组合。

将每个项目保存在公共版本控制仓库（如 GitHub）中，以便其他初学者可以向您学习并扩展您的工作。从您的博客、LinkedIn 或其他地方链接到这些项目，并利用公共作品集来展示您不断增长的技能和能力。

请参阅我的文章“构建机器学习作品集：完成小型专注项目并展示您的技能”中关于这个重要想法的更多内容。

一个公开的 GitHub 仓库组合正迅速成为真正关心技能和交付成果的公司的招聘过程中的简历。

是的，这种方法是为开发者量身定制的

我们上面所阐述的是一种开发者可以用来学习、入门并在机器学习领域取得进展的方法。

您自然可能会对此方法是否真的适合您存有疑虑。让我来解决您的一些担忧。

您无需编写代码

您可能是一名网页开发人员或类似人员，不需要编写大量代码。您可以使用这种方法入门并应用机器学习。像 Weka 这样的工具可以轻松设计机器学习实验并构建模型，而无需任何编程。

编写代码可以解锁更多不同的工具和功能，但它并非必需，也不需要首先进行。

您无需擅长数学

就像在开发中，您无需了解可计算性或 大 O 符号就能编写代码并交付有用可靠的软件一样，您可以在没有统计学、概率论和线性代数背景的情况下端到端地解决机器学习问题。

需要注意的是，我们不是从理论开始，但我们也不会忽视它。当你需要某种方法或算法时，深入研究并提取你需要的部分。事实上，你将无法抑制自己。原因在于，解决机器学习问题令人上瘾且引人入胜。为了获得更好的结果和更准确的预测，你会从任何你能找到的资源中汲取知识，只学习足以提取智慧精髓以应用于你的问题的部分。

如果您的目标是掌握理论，这种方法会更慢且效率更低。这就是为什么从这个角度来看它会如此令人不舒服。但如果从成为一名从事机器学习的开发者的目标来看，它就很有意义了。

您不需要更高的学位

这些知识没有看门人。它都是可用的，你今天，现在就可以自己学习。你不需要在开始解决机器学习问题之前，花费大量时间和金钱去获得一个学位。

如果您的内心渴望获得更高的学位，为什么不先着手解决机器学习问题，然后在完成一些项目后，在几周或几个月后考虑攻读学位。您将对该领域的广度和您喜欢的部分有更清晰的认识。

我确实回去获得了那些高等学位。我喜欢做研究，但我更喜欢解决实际问题并交付客户真正关心的成果。而且，在开始攻读学位之前，我已经在解决机器学习问题了，只是当时我没有意识到我已经拥有了资源和摆在我面前的道路。

这就是为什么我如此热衷于说服像您这样的开发者，您现在就拥有入门所需的一切。

找借口不开始学习机器学习实在是太容易了。

您不需要大数据

机器学习算法是在小数据上开发出来的，并且在小数据上理解得最好。这些数据足够小，您可以在 MS Excel 中查看，加载到内存中，并在您的台式工作站上进行处理。

大数据 != 机器学习。您可以使用大数据构建预测模型，但这应视为您技能集在特定领域中的专业化。我通常建议我的学生在开始机器学习时，从小型内存数据集开始。

如果大数据机器学习是您想涉足的领域，那么就从那里开始吧。

您不需要桌面超级计算机

确实，一些最先进的算法，如深度学习，需要非常强大的万亿核 GPU。它们是强大而令人兴奋的算法。它们也可以解决您可以用台式机 CPU 计算的较小问题。

在您能够使用一台大型快速计算机之前，您无需推迟开始学习机器学习。

在您购买台式超级计算机或租用非常大的 EC2 实例之前，花一些时间学习如何在更小、更易理解的数据集上最大限度地利用这些算法可能很有价值。

您不需要大量时间

我们都有忙碌的生活，但如果你真的想要什么，你就需要投入时间。

我以前说过，解决机器学习问题令人上瘾。如果你沉迷于机器学习竞赛，你会乐意牺牲一个月的晚间电视来从你的算法中挤出几个百分点。

话虽如此，如果你从一个清晰的流程和一流的工具开始，你可以花一到两个小时（也许分一到两个晚上）从头到尾处理一个数据集。做几个这样的项目，你就能在完成的机器学习项目组合上建立一个滩头阵地，然后你可以开始利用这些项目解决更大、更有趣的问题。

将它分解成看板上的一小口任务，并腾出时间开始行动。

开发者最常犯的错误以及如何避免

自 Machine Learning Mastery 推出以来，我一直在提供各种版本的建议，至今已有近两年。在这段时间里，我看到了五个常见的陷阱，我想让大家避免它们。

1. 不采取行动：一切都已准备就绪，但我仍然看到许多开发者不采取行动。看电视或阅读新闻比在一个迷人的研究领域建立一项新的有价值的技能要容易得多。你可以把马牵到水边……
2. 选择过大的问题：我经常看到开发者选择的第一个或第二个数据集太难了。它太大、太复杂或太脏，他们还没有准备好应对挑战。糟糕的是，“失败”会扼杀动力，开发者就会在这个过程中退出。选择可以在 60 分钟内完成并总结的小问题。先这样做一段时间，然后再着手处理更大的问题。
3. 从头开始实现算法：我们已经有了算法实现。完成了。至少已经足够您在接下来的几年里做一些有趣的事情了。如果您的目标是学习如何开发和交付可靠准确的预测模型，请不要花费时间从头开始实现算法，请使用库。另一方面，如果您想专注于实现算法，那么明确将其作为您的目标并专注于此。
4. 不坚持流程：正如敏捷软件开发一样，如果你偏离了流程，你的项目很快就会脱轨，结果往往是一团糟。从头到尾坚持一个系统地解决问题的流程是关键。你可以将“你发现的那个有趣的东西……”作为一个后续的小项目（在你的总结中添加一个“后续工作想法”部分），但要完成流程并交付。
5. 不利用资源：有许多关于机器学习的优秀论文、书籍和博客文章。您可以利用这些资源来改进您的流程、工具使用和结果的准确性。使用第三方资源来从您的算法和数据集中获得更多信息。获取算法和问题框架的思路。一句智慧之言可以改变您项目的进程。请记住，如果您采用自上而下的流程，理论必须在后端引入。花时间理解您的最终模型。

别让这些发生在你身上！

你的下一步

我们已经涵盖了许多方面，我希望我开始说服您，您可以开始并在机器学习领域取得进展。成为一名能够从事机器学习的开发者这一未来是非常真实且非常可实现的。

你的下一步是

1. 选择一个流程（或者直接使用这个）。
2. 选择一个工具或平台（或者直接使用这个）。
3. 选择您的第一个数据集（或者直接使用这个）。
4. 在下面评论并执行！

嘿，你觉得这篇文章有用吗？请留下评论！

更新：查看这个方便的思维导图，它总结了这篇文章中的重要概念（感谢 Simeon 的建议！）。

一个手工绘制的思维导图，总结了这篇文章中的重要概念。
[点击图片放大]