如何根据智能手机数据为人类活动建模

人类活动识别是指将由专用安全带或智能手机记录的加速度计数据序列分类为已知的、定义明确的运动的问题。

鉴于每秒产生的大量观测数据、观测数据的时间性质以及缺乏将加速度计数据与已知运动关联起来的明确方法，这是一个具有挑战性的问题。

解决该问题的经典方法包括根据固定大小的窗口从时间序列数据中手动创建特征，并训练机器学习模型，例如决策树集成。困难在于这种特征工程需要该领域的深厚专业知识。

最近，深度学习方法，如循环神经网络和一维卷积神经网络（或CNN），已被证明在具有挑战性的活动识别任务中，在很少或没有数据特征工程的情况下，提供了最先进的结果。

在本教程中，您将发现用于时间序列分类的“智能手机活动识别”数据集，以及如何加载和探索该数据集以使其为预测建模做好准备。

完成本教程后，您将了解：

• 如何下载和加载数据集到内存。
• 如何使用线图、直方图和箱线图来更好地理解运动数据的结构。
• 如何对问题进行建模，包括框架、数据准备、建模和评估。

通过我的新书《时间序列预测深度学习》**启动您的项目**，其中包括**分步教程**和所有示例的**Python源代码**文件。

让我们开始吧。

如何根据智能手机数据为人类活动建模
摄影师拍摄，保留部分权利。

教程概述

本教程分为10个部分；它们是

1. 人类活动识别
2. 使用智能手机数据集进行活动识别
3. 下载数据集
4. 加载数据
5. 活动类别的平衡
6. 绘制一个受试者的时间序列数据
7. 绘制每个受试者的直方图
8. 绘制每个活动的直方图
9. 绘制活动持续时间箱线图
10. 建模方法

1. 人类活动识别

人类活动识别，简称HAR，是根据传感器记录的人体运动轨迹预测其正在做什么的问题。

运动通常是正常的室内活动，例如站立、坐着、跳跃和上楼梯。

传感器通常放置在受试者身上，例如智能手机或背心，并且通常以三个维度（x，y，z）记录加速度计数据。

人类活动识别（HAR）旨在根据对个人及其周围环境的一组观测来识别其所进行的动作。识别可以通过利用从各种来源（例如环境或穿戴式传感器）检索到的信息来完成。

——《使用智能手机进行人类活动识别的公共领域数据集》，2013年。

这个想法是，一旦识别并知道了受试者的活动，智能计算机系统就可以提供帮助。

这是一个具有挑战性的问题，因为没有明确的分析方法可以以普遍的方式将传感器数据与特定动作关联起来。从技术上讲，它具有挑战性，因为收集了大量传感器数据（例如，每秒数十或数百个观测值），并且在开发预测模型时，经典方法是手动从这些数据中提取特征和启发式方法。

最近，深度学习方法已成功应用于HAR问题，因为它们能够自动学习高阶特征。

基于传感器的活动识别旨在从大量低级传感器读数中获取关于人类活动的深刻高级知识。传统的模式识别方法在过去几年中取得了巨大进展。然而，这些方法通常严重依赖启发式手动特征提取，这可能会阻碍其泛化性能。 […] 最近，深度学习的最新进展使得自动进行高级特征提取成为可能，从而在许多领域取得了可喜的性能。

— 《基于传感器的活动识别深度学习：一项调查》

2. 使用智能手机数据集进行活动识别

一个标准的人类活动识别数据集是2012年发布的“智能手机活动识别”数据集。

该数据集由意大利热那亚大学的Davide Anguita等人准备并提供，其详细信息在其2013年的论文《A Public Domain Dataset for Human Activity Recognition Using Smartphones》中作了完整描述。该数据集在其2012年的论文《Human Activity Recognition on Smartphones using a Multiclass Hardware-Friendly Support Vector Machine》中使用了机器学习算法进行建模。

该数据集已发布，可从UCI机器学习库免费下载

• 使用智能手机数据集进行人类活动识别

数据收集自30名年龄在19至48岁之间的受试者，他们佩戴腰部智能手机，记录运动数据，并执行6种标准活动之一。每位受试者执行活动时都录制了视频，并根据这些视频手动标注了运动数据。

下面是受试者执行活动并记录运动数据的示例视频。

执行的六项活动如下：

1. 步行
2. 上楼梯
3. 下楼梯
4. 坐着
5. 站立
6. 躺着

记录的运动数据是智能手机（特指三星Galaxy S II）的x、y、z加速度计数据（线性加速度）和陀螺仪数据（角速度）。

观测数据以50赫兹（即每秒50个数据点）的频率记录。每个受试者都执行了两次活动序列，一次将设备放在左侧，另一次将设备放在右侧。

为此任务选择了30名年龄在19至48岁之间的志愿者。每个人都被指示遵循一项活动协议，同时佩戴腰部安装的三星Galaxy S II智能手机。选择的六项ADL是站立、坐下、躺下、行走、下楼和上楼。每个受试者都执行了两次协议：第一次试验中智能手机固定在皮带的左侧，第二次则由用户自行放置。

——《使用智能手机进行人类活动识别的公共领域数据集》，2013年。

原始数据不可用。相反，提供的是一个经过预处理的数据集版本。

预处理步骤包括

• 使用噪声滤波器预处理加速度计和陀螺仪。
• 将数据分割成2.56秒（128个数据点）的固定窗口，重叠率为50%。
• 将加速度计数据分解为重力（总）和身体运动分量。

这些信号使用中值滤波器和带有20赫兹截止频率的三阶低通巴特沃斯滤波器进行噪声降噪预处理。 […] 具有重力和身体运动分量的加速度信号，使用另一个巴特沃斯低通滤波器分离为身体加速度和重力。

——《使用智能手机进行人类活动识别的公共领域数据集》，2013年。

对窗口数据应用特征工程，并提供了一份包含这些工程特征的数据副本。

从每个窗口中提取了人类活动识别领域常用的时间和频率特征。结果是生成了一个包含561个元素的特征向量。

数据集根据受试者的数据分为训练集（70%）和测试集（30%），例如21名受试者用于训练，9名受试者用于测试。

这表明，问题可以这样构建：将一系列运动活动作为输入，预测当前正在进行的活动部分（2.56秒），其中使用在已知受试者上训练的模型来从新受试者的运动中预测活动。

早期使用适用于智能手机的支持向量机（例如，定点运算）进行的实验结果显示，在测试数据集上的预测准确率为89%，与未经修改的SVM实现取得了相似的结果。

此方法改进了标准的支持向量机（SVM），并利用定点算术来降低计算成本。与传统SVM的比较显示，在计算成本方面有显著改进，同时保持了相似的准确性 […]

— 《使用多类硬件友好型支持向量机进行智能手机上的人类活动识别》，2012年。

现在我们熟悉了预测问题，接下来我们将了解如何加载和探索这个数据集。

3. 下载数据集

该数据集可免费从UCI机器学习库下载。

数据以一个大小约为58兆字节的zip文件提供。直接下载链接如下：

• UCI HAR Dataset.zip

下载数据集并将所有文件解压到当前工作目录中名为“HARDataset”的新目录中。

检查解压后的内容，你会注意到几件事：

• 包含用于建模的数据（例如70%/30%）的“train”和“test”文件夹。
• 一个“README.txt”文件，其中包含数据集和解压文件的详细技术说明。
• 一个“features.txt”文件，其中包含工程特征的技术描述。

“train”和“test”文件夹的内容相似（例如文件夹和文件名），但在它们包含的具体数据上有所不同。

检查“train”文件夹，显示了几个重要元素：

• 一个“Inertial Signals”文件夹，其中包含预处理过的数据。
• “X_train.txt”文件，其中包含用于拟合模型的工程特征。
• “y_train.txt”文件，其中包含每个观测的类别标签（1-6）。
• “subject_train.txt”文件，其中包含数据文件中每行与其受试者标识符（1-30）的映射。

每个文件的行数匹配，表明每个数据文件中的一行是一个记录。

“Inertial Signals”目录包含9个文件。

• x、y、z轴的**重力加速度**数据文件：*total_acc_x_train.txt*、*total_acc_y_train.txt*、*total_acc_z_train.txt*。
• x、y、z轴的**身体加速度**数据文件：*body_acc_x_train.txt*、*body_acc_y_train.txt*、*body_acc_z_train.txt*。
• x、y、z轴的**身体陀螺仪**数据文件：*body_gyro_x_train.txt*、*body_gyro_y_train.txt*、*body_gyro_z_train.txt*。

“test”目录的结构与此相同。

我们将把注意力集中在“Inertial Signals”中的数据上，因为这对于开发能够学习合适表示的机器学习模型最有趣，而不是使用特定领域的特征工程。

检查数据文件显示列由空格分隔，值似乎已缩放到 -1 到 1 的范围。此缩放可通过数据集提供的 *README.txt* 文件中的注释得到确认。

现在我们知道了有哪些数据，我们可以找出如何将其加载到内存中。

4. 加载数据

在本节中，我们将开发一些代码来将数据集加载到内存中。

首先，我们需要加载一个文件。

我们可以使用Pandas函数`read_csv()`来加载单个数据文件，并指定文件没有标题，且使用空格分隔列。

我们可以将其封装在一个名为 `load_file()` 的函数中。此函数的完整示例列在下面。

运行示例加载文件“total_acc_y_train.txt”，返回一个NumPy数组，并打印该数组的形状。

我们可以看到，训练数据由7,352行或数据窗口组成，每个窗口有128个观测值。

接下来，加载一组文件（例如所有身体加速度数据文件）作为一个单独的组会很有用。

理想情况下，在处理多变量时间序列数据时，将数据结构化为以下格式会很有用：

这有助于分析，也是卷积神经网络和循环神经网络等深度学习模型的预期。

我们可以通过多次调用上述 `load_file()` 函数来实现，每次调用加载一个组中的一个文件。

一旦我们将每个文件加载为NumPy数组，我们就可以将所有三个数组组合或堆叠在一起。我们可以使用dstack() NumPy函数来确保每个数组以这样一种方式堆叠，即特征在第三维中分离，正如我们所希望的那样。

函数 `load_group()` 为文件列表实现了此行为，如下所示。

我们可以通过加载所有总加速度文件来演示此函数。

完整的示例如下所示。

运行该示例会打印返回的NumPy数组的形状，显示了数据集中预期的样本数、时间步长以及x、y和z三个特征。

最后，我们可以使用到目前为止开发的两个函数来加载训练集和测试集的所有数据。

鉴于训练文件夹和测试文件夹的并行结构，我们可以开发一个新函数来加载给定文件夹的所有输入和输出数据。该函数可以构建一个包含所有9个数据文件的列表，将它们加载为一个包含9个特征的NumPy数组，然后加载包含输出类别的数据文件。

下面的 `load_dataset()` 函数实现了这种行为。它可以用于“train”组或“test”组，作为字符串参数传递。

完整的示例如下所示。

运行示例会加载训练集和测试集。

我们可以看到，测试数据集有2,947行窗口数据。正如预期的那样，训练集和测试集中的窗口大小匹配，并且训练集和测试集中输出（y）的大小与样本数量匹配。

既然我们知道如何加载数据，我们就可以开始探索它了。

5. 活动类别的平衡

对数据进行一个很好的初步检查是调查每个活动的平衡情况。

我们相信30个受试者中的每个都执行了六项活动中的每一项。

确认这一预期既可以检查数据是否确实平衡，使其更容易建模，也可以确认我们正在正确加载和解释数据集。

我们可以开发一个函数来总结输出变量（即y变量）的细分情况。

下面的 `class_breakdown()` 函数实现了这种行为，它首先将提供的 NumPy 数组封装在 DataFrame 中，然后根据类别值对行进行分组，并计算每个组的大小（行数）。最后，总结结果，包括计数和百分比。

总结训练集和测试集中类别的分布情况可能会很有用，以确保它们具有相似的分布，然后将结果与合并数据集的分布情况进行比较。

完整的示例如下所示。

运行示例首先总结了训练集的细分情况。我们可以看到每个类别的分布非常相似，都在数据集的13%到19%之间。

测试集和两个数据集合并后的结果看起来非常相似。

假设每个训练集和测试集中的类别分布以及每个受试者的类别分布都是平衡的，那么处理这个数据集应该是安全的。

6. 绘制一个受试者的时间序列数据

我们正在处理时间序列数据，因此一个重要的检查是创建原始数据的线图。

原始数据由每个变量的时间序列数据窗口组成，并且这些窗口有50%的重叠。这意味着除非去除重叠，否则线图可能会显示一些观测数据的重复。

我们可以通过使用上面开发的函数加载训练数据集来开始。

接下来，我们可以加载“`train`”目录中的“`subject_train.txt`”，该文件提供了行到其所属主题的映射。

我们可以使用 `load_file()` 函数加载此文件。加载后，我们还可以使用 `unique()` NumPy 函数检索训练数据集中唯一主题的列表。

接下来，我们需要一种方法来检索单个受试者的所有行，例如受试者编号1。

我们可以通过找到属于给定主题的所有行号，并使用这些行号从训练数据集中加载的X和y数据中选择样本来实现。

下面的 `data_for_subject()` 函数实现了这种行为。它将获取加载的训练数据、行号到受试者的加载映射以及我们感兴趣的受试者的受试者识别号，并仅返回该受试者的 `X` 和 `y` 数据。

现在我们有了一个受试者的数据，我们可以绘制它。

数据由重叠的窗口组成。我们可以编写一个函数来消除这种重叠，并将给定变量的窗口压缩成一个可以直接绘制为线图的长序列。

下面的 `to_series()` 函数为给定变量（例如，窗口数组）实现了此行为。

最后，我们有足够的条件来绘制数据。我们可以依次绘制该受试者的九个变量，并最后绘制活动水平。

每个序列都具有相同数量的时间步（x轴长度），因此，为每个变量创建子图并垂直对齐所有图表以比较每个变量上的运动可能会很有用。

下面的 `plot_subject()` 函数为单个受试者的 `X` 和 `y` 数据实现了此行为。该函数假定变量（第3轴）的顺序与在 `load_dataset()` 函数中加载的顺序相同。每个图表还添加了一个粗略的标题，这样我们就不容易混淆我们正在看的是什么。

完整的示例如下所示。

运行示例会打印训练数据集中的唯一主题，第一个主题的数据样本，并创建一个包含10个图的图形，其中9个用于输入变量，1个用于输出类别。

在图中，我们可以看到与活动1、2和3（步行活动）相对应的大幅度运动时期。我们还可以看到活动4、5和6（坐、站和躺）的活动量明显减少（即相对笔直的线条）。

这很好地证实了我们正确加载和解释了原始数据集。

我们可以看到这个受试者已经两次执行了相同的总体活动序列，并且有些活动执行了两次以上。这表明对于一个给定的受试者，我们不应该对其可能执行的活动或它们的顺序做出假设。

我们还可以看到一些相对较大的运动，即使在一些静止活动中，例如躺着。这些可能是异常值或与活动转换有关。通过平滑或移除这些观测值，可以将其视为异常值。

最后，我们看到九个变量之间存在许多共性。很可能只需要这些轨迹的一个子集就可以开发预测模型。

单个受试者所有变量的线图

我们可以通过进行一个小改动来重新运行另一个受试者的示例，例如选择训练数据集中第二个受试者的标识符。

第二个受试者的图显示了类似的行为，没有意外。

活动的双重序列确实比第一个受试者看起来更规律。

第二个单一受试者所有变量的线图

7. 绘制每个受试者的直方图

问题的框架是，我们有兴趣使用某些受试者的运动数据来预测其他受试者的活动。

这表明运动数据在各个受试者之间必然具有规律性。我们知道数据已缩放到-1到1之间，大概是针对每个受试者进行的，这表明检测到的运动的幅度将相似。

鉴于他们执行了相同的动作，我们还预计运动数据的分布在受试者之间是相似的。

我们可以通过绘制和比较各个受试者运动数据的直方图来检查这一点。一个有用的方法是为每个受试者创建一个图，并绘制给定数据（例如，总加速度）的所有三个轴，然后对多个受试者重复此操作。可以修改图以使用相同的轴并水平对齐，以便比较各个变量在受试者之间的分布。

下面的 `plot_subject_histograms()` 函数实现了此行为。该函数接受已加载的数据集和行到主题的映射，以及要绘制的最大主题数，默认设置为10。

为每个受试者创建了一个图，并将一种数据类型的三个变量绘制为包含100个 bin 的直方图，以帮助使分布更清晰。每个图共享相同的轴，该轴固定在 -1 和 1 的边界。

完整的示例如下所示。

运行该示例会生成一个包含10个图的单个图形，其中包含总加速度数据的三个轴的直方图。

给定图上的三个轴分别具有不同的颜色，特别是x、y和z分别为蓝色、橙色和绿色。

我们可以看到，给定轴的分布确实呈现高斯分布，并伴随着大的独立数据组。

我们可以看到一些分布对齐（例如，中间主要组在0.0附近），这表明运动数据在受试者之间可能存在一定的连续性，至少对于此数据而言。

10名受试者总加速度数据的直方图

我们可以更新 `plot_subject_histograms()` 函数，接下来绘制身体加速度的分布图。更新后的函数如下所示。

运行更新后的示例会生成相同的图，但结果截然不同。

在这里，我们可以看到所有数据都集中在0.0附近，跨轴在受试者内部以及跨受试者。这表明数据可能已经居中（零均值）。这种在受试者之间的高度一致性可能有助于建模，并可能表明总加速度数据中受试者之间的差异可能不那么有用。

10名受试者身体加速度数据的直方图

最后，我们可以为陀螺仪数据生成一个最终的图。

更新后的函数如下所示。

运行该示例显示了与身体加速度数据非常相似的结果。

我们看到每个轴在高斯分布的中心0.0处具有很高的可能性，并且每个受试者都如此。分布稍宽，并显示出更厚的尾部，但对于跨受试者的运动数据建模来说，这是一个令人鼓舞的发现。

10名受试者身体陀螺仪数据的直方图

8. 绘制每个活动的直方图

我们有兴趣根据活动数据来区分不同的活动。

最简单的情况是区分单个受试者的活动。调查此问题的一种方法是查看单个受试者不同活动的运动数据分布。我们预期会看到单个受试者不同活动的运动数据分布存在一些差异。

我们可以通过为每个活动创建直方图图，并在每个图上显示给定数据类型的所有三个轴来查看此内容。同样，这些图可以水平排列，以比较每个活动的数据轴的分布。我们预计会看到不同活动在图中的分布存在差异。

首先，我们必须按活动对受试者的轨迹进行分组。下面的 `data_by_activity()` 函数实现了此行为。

我们现在可以为给定受试者创建每个活动的图。

下面的 `plot_activity_histograms()` 函数为给定受试者的轨迹数据实现了此功能。

首先，数据按活动分组，然后为每个活动创建一个子图，并将数据类型的每个轴添加为直方图。该函数仅枚举数据的前三个特征，即总加速度变量。

完整的示例如下所示。

运行示例会生成一个包含六个子图的图，每个子图对应训练数据集中第一个受试者的一个活动。总加速度数据的x、y和z轴分别用蓝色、橙色和绿色直方图表示。

我们可以看到每个活动都有不同的数据分布，其中大幅度运动（前三个活动）与静止活动（后三个活动）之间存在显著差异。前三个活动的数据分布看起来是高斯分布，可能具有不同的均值和标准差。后几个活动的分布看起来是多峰的（即有多个峰值）。

按活动划分的总加速度数据直方图

我们可以使用 `plot_activity_histograms()` 函数的更新版本重新运行相同的示例，该版本将绘制身体加速度数据。

更新后的函数如下所示。

运行更新后的示例会创建一个新的图。

在这里，我们可以看到运动中活动与静止活动之间的活动分布更相似。数据在运动中活动的情况下看起来是双峰的，而在静止活动的情况下可能是高斯分布或指数分布。

我们看到的总加速度与身体加速度按活动分布的模式，与上一节中不同主体相同数据类型所呈现的模式相似。也许总加速度数据是区分活动的关键。

按活动划分的身体加速度数据直方图

最后，我们可以再次更新示例，绘制陀螺仪数据每个活动的直方图。

更新后的函数如下所示。

运行示例会创建与身体加速度数据相似模式的图表，尽管运动中活动可能显示的是肥尾高斯分布而非双峰分布。

按活动划分的身体陀螺仪数据直方图

所有这些图都是为第一个受试者创建的，我们期望其他受试者的运动数据在不同活动中也会显示相似的分布和关系。

9. 绘制活动持续时间箱线图

最后要考虑的一个方面是受试者在每个活动上花费的时间。

这与类别的平衡密切相关。如果活动（类别）在一个数据集中通常是平衡的，那么我们期望一个给定受试者在其轨迹过程中活动的平衡也会相对较好。

我们可以通过计算每个受试者在每个活动上花费的时间（以样本或行数计）并查看每个活动持续时间的分布来证实这一点。

查看这些数据的一个便捷方式是将分布总结为箱线图，显示中位数（线）、中间 50%（箱体）、数据的一般范围作为四分位距（触须），以及异常值（点）。

下面的函数 plot_activity_durations_by_subject() 通过首先按受试者分割数据集，然后按活动分割受试者数据并计算每个活动上花费的行数，最后为每个活动的持续时间测量值创建箱线图来实现此行为。

完整的示例如下所示。