探索特征工程，如何进行特征工程以及如何精通它

特征工程是一个非正式的话题，但它被公认为是应用机器学习成功的关键。

在创建本指南时，我进行了广泛而深入的研究，并综合了所有我能找到的材料。

你将了解什么是特征工程、它解决了什么问题、为什么它很重要、如何设计特征、谁在这方面做得很好，以及你可以去哪里学习更多知识并精通它。

如果你只读一篇关于特征工程的文章，我希望是这一篇。

特征工程是另一个似乎不值得任何综述论文或书籍，甚至书中章节来讨论的话题，但它对机器学习的成功至关重要。[…] 机器学习的大部分成功实际上是成功地设计出学习器可以理解的特征。

—— Scott Locklin，摘自《被忽视的机器学习思想》

用我的新书《机器学习的数据准备》来启动你的项目，其中包括所有示例的*分步教程*和*Python源代码*文件。

让我们开始吧。

特征工程解决的问题

特征工程是困难的。
照片由 Vik Nanda 拍摄，保留部分权利

当你的目标是从一个预测模型中获得尽可能好的结果时，你需要充分利用你所拥有的一切。

这包括从你正在使用的算法中获得最佳结果。它还涉及充分利用数据，供你的算法使用。

如何为预测建模充分利用你的数据？

这就是特征工程的过程和实践所解决的问题。

实际上，所有机器学习算法的成功都取决于你如何呈现数据。

—— Mohammad Pezeshki，回答“每个数据科学家都应该知道的关于特征选择和工程的一些通用技巧是什么？”

特征工程的重要性

数据中的特征将直接影响你使用的预测模型和你能够实现的结果。

你可以说：你准备和选择的特征越好，你将获得的结果就越好。这是对的，但也容易引起误解。

你所取得的结果是你选择的模型、可用的数据和你准备的特征的综合因素。甚至你对问题的框架和你用来评估准确性的客观指标也起着作用。你的结果取决于许多相互依赖的属性。

你需要能够描述数据中固有结构的优秀特征。

更好的特征意味着灵活性.

即使你选择了“错误的模型”（次优模型），你仍然可以获得好的结果。大多数模型都能捕捉到数据中的良好结构。良好特征的灵活性将允许你使用更简单的模型，这些模型运行速度更快、更容易理解和维护。这是非常理想的。

更好的特征意味着更简单的模型.

有了精心设计的特征，即使你选择了“错误的参数”（次优参数），你仍然可以获得好的结果，原因大致相同。你不需要那么费力地去挑选正确的模型和最优化的参数。

有了好的特征，你就更接近于问题的本质，也更接近于对你拥有并可以用来最好地描述该潜在问题的所有数据的表示。

更好的特征意味着更好的结果.

我们使用的算法对于Kaggle竞赛者来说是非常标准的。[…] 我们的大部分精力都花在了特征工程上。

—— Xavier Conort，关于赢得Kaggle上的Flight Quest挑战赛的“与Xavier Conort的问答”

什么是特征工程？

以下是我对特征工程的定义

特征工程是将原始数据转换为能更好地向预测模型表示潜在问题的特征的过程，从而提高模型在未见数据上的准确性。

你可以在这个定义中看到依赖关系

• 你选择的性能指标（RMSE？AUC？）
• 问题的框架（分类？回归？）
• 你正在使用的预测模型（SVM？）
• 你已选择和准备的原始数据（样本？格式化？清洗？）

特征工程是手动设计输入x应该是什么

— Tomasz Malisiewicz，回答“什么是特征工程？”

特征工程是一个表示问题

机器学习算法从样本数据中学习问题的解决方案。

在这种情况下，特征工程提出一个问题：要学习问题的解决方案，样本数据的最佳表示形式是什么？

这是一个很深的问题。在机器学习，甚至整个人工智能领域做得好，都归结为表示问题。这是很难的事情，也许是不可知的（或者充其量是难以处理的），无法先验地知道该使用哪种最佳表示。

你必须将你的输入转换成算法能够理解的东西

—— Shayne Miel，回答“机器学习中特征工程的直观解释是什么？”

特征工程是一门艺术

它是一门艺术，就像工程是一门艺术，编程是一门艺术，医学是一门艺术一样。

有明确定义的程序，它们是方法性的、可证明的和被理解的。

数据是一个变量，每次都不同。你通过实践，通过经验性的学徒制，来擅长决定何时使用哪种程序。就像工程、编程、医学和一般的机器学习一样。

特征工程的精通来自于动手实践，以及研究其他做得好的人的实践。

…一些机器学习项目成功了，一些失败了。区别在哪里？毫无疑问，最重要的因素是使用的特征。

—— Pedro Domingos，摘自“关于机器学习需要知道的一些有用的事”（PDF）

特征工程的子问题

人们通常将特征工程视为一件事。

例如，在很长一段时间里，对我来说，特征工程就是特征构建。

我当时会想“我现在在做特征工程”，然后我会去思考“我如何分解或聚合原始数据以更好地描述潜在问题？”目标是正确的，但方法只是众多方法中的一种。

在本节中，我们将探讨这些多种方法以及它们旨在解决的具体子问题。每一个都可以成为一篇深入的文章，因为它们都是实践和研究的重要领域。

特征：对你的建模任务有用的属性

让我们从数据和什么是特征开始。

表格数据以观测值或实例（行）来描述，这些观测值由变量或属性（列）组成。一个属性可以是一个特征。

特征这个概念，与属性分开来看，在问题的背景下更有意义。特征是对你的问题有用或有意义的属性。它是观测值中用于了解正在建模的问题结构的重要部分。

我用“有意义”来区分属性和特征。有些人可能不这么认为。我认为不存在无意义的特征。如果一个特征对问题没有影响，它就不是问题的一部分。

在计算机视觉中，一张图像是一个观测值，但一个特征可能是图像中的一条线。在自然语言处理中，一份文档或一条推文可以是一个观测值，而一个短语或词频可以是一个特征。在语音识别中，一段话语可以是一个观测值，但一个特征可能是一个单词或音素。

特征重要性：对特征有用性的估计

你可以客观地评估特征的有用性。

这可以作为选择特征的前奏。特征被分配分数，然后可以按分数排名。得分最高的特征可以被选中包含在训练数据集中，而其余的则可以忽略。

特征重要性分数还可以为你提供信息，你可以利用这些信息来提取或构建新的特征，这些新特征与那些被评估为有用的特征相似但有所不同。

如果一个特征与因变量（被预测的东西）高度相关，那么它可能很重要。相关系数和其他单变量方法（每个属性被独立考虑）是常用的方法。

更复杂的预测建模算法在构建模型时会在内部执行特征重要性评估和选择。一些例子包括MARS、随机森林和梯度提升机。这些模型还可以报告在模型准备过程中确定的变量重要性。

特征提取：从原始数据自动构建新特征

有些观测值在其原始状态下数据量太大，无法直接用于预测建模算法。

常见的例子包括图像、音频和文本数据，但也很容易包括拥有数百万个属性的表格数据。

特征提取是一个自动将这些类型的观测值的维度降低到一个小得多的集合，以便可以进行建模的过程。

对于表格数据，这可能包括像主成分分析（PCA）和无监督聚类这样的投影方法。对于图像数据，这可能包括线或边缘检测。根据领域不同，图像、视频和音频观测值适用于许多相同类型的数字信号处理（DSP）方法。

特征提取的关键在于这些方法是自动化的（尽管可能需要从更简单的方法设计和构建），并且解决了数据维度过高而无法管理的问题，最常用于以数字格式存储的模拟观测数据。

特征选择：从众多特征中选出少数有用的特征

并非所有特征都是生而平等的。

那些与问题无关的属性需要被移除。有些特征对模型准确性的重要性会超过其他特征。也会有在其他特征背景下显得多余的特征。

特征选择通过自动选择对问题最有用的子集来解决这些问题。

特征选择算法可能会使用一种评分方法来对特征进行排序和选择，例如相关性或其他特征重要性方法。

更高级的方法可能会通过试错来搜索特征子集，自动创建和评估模型，以追求客观上最具预测性的特征子群。

还有一些方法将特征选择融入其中，或者将其作为模型的副作用。逐步回归就是一种在模型构建过程中自动执行特征选择的算法示例。

像LASSO和岭回归这样的正则化方法也可以被视为内置特征选择的算法，因为它们在模型构建过程中积极地寻求移除或降低特征的贡献。

在文章中了解更多信息：特征选择简介。

特征构建：从原始数据中手动构建新特征

最好的结果取决于你，从业者，如何精心打造特征。

特征重要性和选择可以告诉你特征的客观效用，但这些特征必须有来源。

你需要手动创建它们。这需要花费大量时间处理真实的样本数据（而不是聚合数据），思考问题的底层形式、数据中的结构以及如何最好地将它们暴露给预测建模算法。

对于表格数据，这通常意味着混合聚合或组合特征来创建新特征，以及分解或拆分特征来创建新特征。

对于文本数据，这通常意味着设计与问题相关的特定文档或上下文的指标。对于图像数据，这通常可能意味着花费大量时间来规定自动筛选器以挑选出相关结构。

这部分特征工程通常被认为是一种艺术形式，是被赋予重要性并在竞争性机器学习中被视为差异化因素的部分。

它是手动的，速度慢，需要大量的人类脑力，并且能产生巨大的影响。

特征工程和特征选择并非相互排斥。它们都很有用。不过，我会说特征工程更重要，特别是因为你无法真正自动化它。

—— Robert Neuhaus，回答“你认为特征选择在机器学习中有多大价值？你认为特征选择还是特征工程更能提高准确性？”

特征学习：自动识别和使用原始数据中的特征

我们能否避免手动规定如何从原始数据中构建或提取特征的负担？

表示学习或特征学习就是朝着这个目标努力的一种尝试。

现代深度学习方法在这一领域取得了一些成功，例如自编码器和受限玻尔兹曼机。它们已被证明能够自动地、以无监督或半监督的方式学习特征的抽象表示（一种压缩形式），这反过来又在语音识别、图像分类、物体识别等领域支持了最先进的结果。

我们还没有自动化的特征提取或构建，而且可能永远不会有自动化的特征工程。

抽象表示是自动准备的，但除了以黑盒方式外，你无法理解和利用学到的东西。它们不能（目前还不能，或者不容易）告知你和这个过程如何创建更多与那些表现良好的特征相似和不同的特征，无论是在给定的问题上还是在未来类似的问题上。所获得的技能被困住了。

尽管如此，它仍然是迷人、令人兴奋的，并且是特征工程中一个重要而现代的部分。

特征工程的过程

在应用机器学习的更广泛过程中，特征工程可以被最好地理解。

你需要这个背景。

机器学习的过程

应用机器学习的过程（姑且这么称呼）从广义上讲涉及许多活动。前期是问题定义，接下来是数据选择和准备，中间是模型准备、评估和调优，最后是结果呈现。

像数据挖掘和知识发现（KDD）这样的过程描述有助于更好地理解任务和子任务。你可以随心所欲地挑选和表述这个过程。我以前已经谈过很多这方面的内容了。

一张与我们讨论特征工程相关的图景是这个过程的前中部。它可能看起来像下面这样

1. （此前的任务…）
2. 选择数据：整合数据，将其反规范化为一个数据集，并收集在一起。
3. 预处理数据：格式化、清洗、抽样，以便你可以处理它。
4. 转换数据：特征工程发生在这里。
5. 数据建模：创建模型，评估并调整它们。
6. （此后的任务…）

传统观念中，将原始数据“转换”为适合建模的状态，正是特征工程所在的位置。数据转换和特征工程实际上可能是同义词。

这张图在几个方面有所帮助。

你可以看到，在特征工程之前，我们正在整理数据，将其转换成我们甚至可以查看的格式，而就在那之前，我们正在从数据库中整理和反规范化数据，以形成某种中心视图。

当我们发现对数据的新视角时，我们可以并且应该回顾这些步骤。

例如，我们可能有一个聚合字段的属性，比如一个总和。与其使用单个总和，我们可能会决定创建特征来按时间间隔描述数量，例如按季节。我们需要在流程中回溯到预处理甚至选择数据步骤，以获取“真正的原始数据”并创建这个特征。

我们可以看到特征工程之后是建模。

这表明与建模有很强的互动，提醒我们在设计特征和在测试框架及最终性能指标的实际检验中测试它们之间的相互作用。

这也表明我们可能需要将数据保持在适合所选建模算法的形式，例如，作为最后一步对特征进行归一化或标准化。这听起来像一个预处理步骤，它可能确实是，但它帮助我们考虑在有效建模之前需要对数据进行哪些类型的收尾工作。

特征工程的迭代过程

了解特征工程在应用机器学习过程中的位置，突显了它并非独立存在。

这是一个与数据选择和模型评估相互作用的迭代过程，一次又一次，直到我们在这个问题上时间耗尽。

这个过程可能如下所示：

1. 头脑风暴特征：真正深入问题，查看大量数据，研究其他问题上的特征工程，看看你能借鉴什么。
2. 设计特征：这取决于你的问题，但你可能会使用自动特征提取、手动特征构建以及两者的混合。
3. 选择特征：使用不同的特征重要性评分和特征选择方法，为你的模型准备一个或多个“视图”以供操作。
4. 评估模型：使用所选特征估计模型在未见数据上的准确性。

你需要一个明确定义的问题，这样你才知道何时停止这个过程，转而尝试其他模型、其他模型配置、模型集成等等。一旦你在想法或准确性增量上达到平台期，后续流程中还有收益可图。

你需要一个经过深思熟虑和精心设计的测试框架，以客观地评估模型在未见数据上的技能。这将是你衡量特征工程过程的唯一标准，你必须相信它，以免浪费你的时间。

特征工程的一般示例

让我们让特征工程的概念更具体一些。

在本节中，我们将考虑表格数据，就像你在Excel电子表格中可能有的那样。我们将看一些手动特征构建的例子，你可以在自己的问题上考虑使用这些例子。

当我听到“特征工程至关重要”时，我想到的就是这种类型的特征工程。这是我最熟悉和实践的最常见的形式。

哪种方法最好？你事先无法知道。你必须尝试它们并评估结果，以在你的算法和性能指标上取得成就。

分解分类属性

假设你有一个分类属性，比如“物品颜色”，可以是“红色”、“蓝色”或“未知”。

“未知”可能是特殊的，但对于模型来说，它看起来只是另一种颜色选择。更好地揭示这些信息可能是有益的。

你可以创建一个新的二元特征，名为“有颜色”，当物品有颜色时赋值为“1”，当颜色未知时赋值为“0”。

更进一步，你可以为“物品颜色”的每个值创建一个二元特征。这将是三个二元属性：“是红色”、“是蓝色”和“是未知”。

这些额外的特征可以用来替代“物品颜色”特征（如果你想尝试一个更简单的线性模型），或者作为它的补充（如果你想从像决策树这样的模型中获得更多信息）。

分解日期时间

一个日期时间包含大量信息，模型在其原生形式下很难利用，例如ISO 8601格式（即2014-09-20T20:45:40Z）。

如果你怀疑时间与其他属性之间存在关系，你可以将日期时间分解为组成部分，这可能让模型能够发现并利用这些关系。

例如，你可能怀疑一天中的时间与其他属性之间存在关系。

你可以为小时创建一个新的数值特征，名为“一天中的小时”，这可能有助于回归模型。

你可以创建一个新的有序特征，名为“一天中的时段”，包含4个值：“上午”、“中午”、“下午”、“晚上”，并根据你认为相关的任何小时界限来划分。这可能对决策树有用。

你可以使用类似的方法来找出星期中的时间关系、月份中的时间关系以及一年中各种季节性结构。

日期时间信息结构丰富，如果你怀疑数据中存在时间依赖性，请花时间仔细梳理它们。

重新构建数值量

你的数据很可能包含数量，这些数量可以被重新构建以更好地揭示相关结构。这可能是转换成一个新的单位，或者将一个速率分解成时间和数量两个部分。

你可能有一个像重量、距离或时间这样的量。对于回归和其他依赖于尺度的模型来说，线性变换可能是有用的。

例如，你可能有以克为单位的“物品重量”，值为6289。你可以创建一个新特征，将这个数量转换为千克，即6.289，或者四舍五入为6千克。如果领域是运输数据，那么千克对于“物品重量”来说可能是一个足够或更有用（噪音更少）的精度。

“物品重量”可以被拆分为两个特征：“物品重量_千克”和“物品重量_剩余克数”，示例值分别为6和289。

可能存在领域知识，即重量超过4千克的物品会产生更高的税率。这个神奇的领域数字可以用来创建一个新的二元特征“物品超过4千克”，对于我们6289克的例子，其值为“1”。

你也可能有一个以速率或某个时间间隔内的总量的形式存储的数量。例如，一年内汇总的“顾客购买次数”。

在这种情况下，你可能需要回到数据收集步骤，除了这个聚合值之外创建新的特征，并尝试揭示购买中更多的时间结构，比如季节性。例如，可以创建以下新的二元特征：“夏季购买”、“秋季购买”、“冬季购买”和“春季购买”。

特征工程的具体示例

研究特征工程示例的一个好地方是机器学习竞赛的结果。

竞赛通常使用来自现实世界问题领域的数据。在竞赛结束时，需要撰写一份关于方法和途径的报告。这些报告为有效的现实世界机器学习过程和方法提供了宝贵的见解。

在本节中，我们将介绍一些有趣且值得注意的赛后报告，这些报告侧重于特征工程。

在2010年KDD杯中预测学生考试成绩

KDD杯是每年为ACM知识发现与数据挖掘特别兴趣小组会议的与会者举办的机器学习竞赛。

2010年，比赛的重点是模拟学生学习过程的问题。提供了一份学生代数问题成绩的语料库，用于预测这些学生未来的表现。

比赛的获胜者是台湾大学的一群学生和学者。他们的方法在论文《2010年KDD杯的特征工程和分类器集成》中有详细描述。

该论文将特征工程归功于获胜的关键方法。特征工程通过创建数百万个二元特征简化了问题的结构。这种简单的结构使得团队能够使用性能高但非常简单的线性方法来获得获胜的预测模型。

该论文详细说明了问题结构中特定的时间性和其他非线性如何被简化为简单的复合二元指标。

这是一个极端且富有启发性的例子，展示了简单的属性分解可能达到的效果。

在Heritage健康奖中预测患者入院情况

Heritage健康奖是一项300万美元的奖项，授予能够最好地预测哪些患者将在未来一年内入院的团队。

该奖项每年都设有里程碑奖，顶尖团队会获奖，并且他们的流程和方法也会被公开。

我记得在三个里程碑中的第一个里程碑发布时阅读了论文，并对其中涉及的大量特征工程印象深刻。

特别是，Phil Brierley、David Vogel和Randy Axelrod的论文《第一轮里程碑奖：我们是如何做到的——Market Makers团队》。大多数竞赛都涉及大量的特征工程，但这篇论文清晰地阐明了这一点，让我印象深刻。

该论文提供了构建这些属性所需的属性表和SQL。

该论文通过简单的分解给出了一些很好的现实世界特征工程示例。其中有很多计数、最小值、最大值，大量的二元属性和离散化的数值属性。使用了非常简单的方法，取得了很好的效果。

更多关于特征工程的资源

我们在本文中涵盖了很多内容，我希望你对什么是特征工程、它在何处适用以及如何去做有了更深的理解。

这确实是你旅程的开始。你需要练习特征工程，并且需要学习特征工程的优秀实践者。

本节提供了一些可能对你的旅程有所帮助的资源。

书籍

我找不到任何关于这个主题的书籍或书籍章节。

然而，有一些关于特征提取的优秀书籍。如果你正在处理模拟观测的数字表示，如图像、视频、声音或文本，你可能想深入研究一些特征提取的文献。

• 特征提取、构建和选择：数据挖掘视角
• 特征提取：基础与应用
• 计算机视觉的特征提取与图像处理

关于特征选择的书籍也很多。如果你正在努力通过移除冗余或不相关的特征来减少你的特征，请深入研究特征选择。

• 知识发现与数据挖掘的特征选择
• 特征选择的计算方法

论文和幻灯片

这是一个很难找到相关论文的主题。

同样，有大量关于特征提取的论文和书中关于特征选择的章节，但关于特征工程的内容不多。此外，特征工程在软件工程中也有一个含义，与我们的讨论无关。

以下是一些普遍相关的论文

• JMLR关于变量和特征选择的特刊

以下是一些普遍相关且有趣的幻灯片

• 特征工程（PDF），知识发现与数据挖掘1，作者：Roman Kern，知识技术研究所
• 特征工程与选择（PDF），CS 294：实用机器学习，伯克利
• 特征工程工作室，课程讲座幻灯片及材料，哥伦比亚大学
• 特征工程（PDF），Leon Bottou，普林斯顿大学

链接

到处都有博客文章。最有用的链接是那些通过一个问题进行讲解并清晰阐述有意识的特征工程的教程。

以下是一些普遍有趣的链接

• 特征工程：如何在泰坦尼克号竞赛中进行特征工程（Kaggle上的一个入门竞赛）。数据整理比特征工程多，但仍然很有启发性。
• IPython Notebook by Guibing Guo, dedicated to explaining feature engineering. A bit messy, but worth a skim（链接似乎已失效，抱歉。）

视频

关于特征工程主题有一些视频。迄今为止最好的是由Ryan Baker制作的题为“特征工程”的视频。它很短（大约9分钟），我建议观看它以获取一些好的实践技巧。

https://www.youtube.com/watch?v=drUToKxEAUA

如果你认为我遗漏了某个关键概念或资源，请留言。

2015年更新：我注意到现在有一个关于特征工程的维基百科文章，它抄袭了这篇文章的大部分内容。唉，算了。

掌握现代数据准备！

在几分钟内准备好您的机器学习数据

...只需几行python代码

在我的新电子书中探索如何实现
机器学习数据准备

它提供**自学教程**，并附有关于以下内容的**完整工作代码**：
*特征选择*、*RFE*、*数据清洗*、*数据转换*、*缩放*、*降维*，以及更多...

将现代数据准备技术引入
您的机器学习项目

查看内容