1D 卷积神经网络模型用于人类活动识别

人类活动识别是指将由专用安全带或智能手机记录的加速度计数据序列分类为已知的、定义明确的运动的问题。

传统方法涉及从时间序列数据中基于固定大小的窗口手工提取特征，并训练机器学习模型，例如决策树的集成。困难之处在于这种特征工程需要该领域的深厚专业知识。

最近，循环神经网络和一维卷积神经网络（CNN）等深度学习方法已被证明在具有很少或没有数据特征工程的具有挑战性的活动识别任务上可提供最先进的结果，而是使用原始数据进行特征学习。

在本教程中，您将了解如何为人类活动识别的时间序列分类开发一维卷积神经网络。

完成本教程后，您将了解：

• 如何加载和准备标准人类活动识别数据集的数据，并开发一个在原始数据上实现优异性能的单一 1D CNN 模型。
• 如何进一步调整模型的性能，包括数据转换、滤波器图和核大小。
• 如何开发一个复杂的多头一维卷积神经网络模型，该模型可提供类似集成的结果。

通过我的新书《时间序列预测深度学习》，分步教程和所有示例的Python源代码文件，从而快速启动您的项目。

让我们开始吧。

如何开发一维卷积神经网络模型以进行人类活动识别
照片来源：Wolfgang Staudt，部分权利保留。

教程概述

本教程分为四个部分；它们是

1. 使用智能手机数据集进行活动识别
2. 开发一维卷积神经网络
3. 经过调整的一维卷积神经网络
4. 多头一维卷积神经网络

使用智能手机数据集进行活动识别

人类活动识别，简称HAR，是根据传感器记录的人体运动轨迹预测其正在做什么的问题。

一个标准的人类活动识别数据集是 2012 年发布的“使用智能手机进行人类活动识别数据集”。

该数据集由意大利热那亚大学的 Davide Anguita 等人准备并提供，并在其 2013 年的论文“使用智能手机进行人类活动识别的公共领域数据集”中进行了详述。该数据集在他们 2012 年题为“使用多类硬件友好型支持向量机进行智能手机上的人类活动识别”的论文中使用了机器学习算法进行建模。

该数据集已发布，可从UCI机器学习库免费下载

• 使用智能手机数据集进行人类活动识别，UCI 机器学习存储库

数据是从 19 至 48 岁的 30 名受试者收集的，他们在佩戴腰部智能手机记录运动数据时执行六种标准活动之一。对每名受试者执行活动的情况进行了视频录制，并根据这些视频手动标记了运动数据。

下面是受试者执行活动并记录运动数据的示例视频。

执行的六项活动如下：

1. 步行
2. 上楼梯
3. 下楼梯
4. 坐着
5. 站立
6. 躺着

记录的运动数据是来自智能手机（具体来说是三星 Galaxy S II）的 x、y 和 z 轴加速度计数据（线性加速度）和陀螺仪数据（角速度）。观测值以 50 Hz（即每秒 50 个数据点）记录。每位受试者执行两次活动序列，一次设备在左侧，一次设备在右侧。

无法获取原始数据。而是提供了一个预处理版本的数据集。预处理步骤包括

• 使用噪声滤波器预处理加速度计和陀螺仪。
• 将数据分割成2.56秒（128个数据点）的固定窗口，重叠率为50%。
• 将加速度计数据分解为重力（总）和身体运动分量。

对窗口数据应用特征工程，并提供了一份包含这些工程特征的数据副本。

从每个窗口中提取了人类活动识别领域常用的时间和频率特征。结果是生成了一个包含561个元素的特征向量。

数据集根据受试者的数据分为训练集（70%）和测试集（30%），例如21名受试者用于训练，9名受试者用于测试。

针对智能手机（例如定点算术）设计的支持向量机的实验结果在测试数据集上取得了 89% 的预测准确率，与未修改的 SVM 实现取得了相似的结果。

该数据集可免费从UCI机器学习库下载。

数据以一个大小约为58兆字节的zip文件提供。直接下载链接如下：

• UCI HAR Dataset.zip

下载数据集，并将所有文件解压缩到当前工作目录中的一个名为“HARDataset”的新目录中。

开发一维卷积神经网络

在本节中，我们将为人类活动识别数据集开发一个一维卷积神经网络模型（1D CNN）。

卷积神经网络模型是为图像分类问题开发的，模型通过一个称为特征学习的过程学习二维输入的内部表示。

这一过程可以应用于一维数据序列，例如在人类活动识别的加速度和陀螺仪数据的情况下。模型学会从观测序列中提取特征，以及如何将内部特征映射到不同的活动类型。

使用 CNN 进行序列分类的好处是它们可以直接从原始时间序列数据中学习，因此不需要领域专业知识来手动工程化输入特征。模型可以学习时间序列数据的内部表示，并理想地获得与在具有工程特征的数据集版本上拟合的模型相当的性能。

本节分为 4 个部分，它们是：

1. 加载数据
2. 拟合和评估模型
3. 总结结果
4. 完整示例

加载数据

第一步是将原始数据集加载到内存中。

原始数据中有三种主要的信号类型：总加速度、身体加速度和身体陀螺仪。每种都有三个轴的数据。这意味着每个时间步总共有九个变量。

此外，每个数据系列已被划分为重叠窗口，每个窗口包含 2.56 秒的数据，即 128 个时间步。这些数据窗口对应于上一节中特征工程（行）的窗口。

这意味着一行数据包含 (128 * 9) = 1,152 个元素。这比上一节中的 561 个元素向量略少一倍，并且很可能存在一些冗余数据。

信号存储在 train 和 test 子目录下的 /Inertial Signals/ 目录中。每个信号的每个轴都存储在一个单独的文件中，这意味着每个 train 和 test 数据集都有九个输入文件需要加载，以及一个输出文件需要加载。鉴于一致的目录结构和文件名约定，我们可以将这些文件的加载分批处理。

输入数据是 CSV 格式，列由空格分隔。这些文件中的每一个都可以加载为 NumPy 数组。下面的 load_file() 函数加载给定文件路径的数据集，并以 NumPy 数组的形式返回加载的数据。

然后，我们可以将给定组（训练或测试）的所有数据加载到一个单一的三维 NumPy 数组中，其中数组的维度是 [样本、时间步、特征]。

为了更清楚，有 128 个时间步和九个特征，其中样本数是任何给定原始信号数据文件中的行数。

下面的 load_group() 函数实现了此功能。 dstack() NumPy 函数允许我们将每个加载的 3D 数组堆叠成一个单一的 3D 数组，其中变量在第三个维度（特征）上分开。

我们可以使用此函数加载给定组的所有输入信号数据，例如train或test。

下面的 load_dataset_group() 函数使用 train 和 test 目录之间一致的命名约定，加载单个组的所有输入信号数据和输出数据。

最后，我们可以加载每个train和test数据集。

输出数据被定义为类别号的整数。我们必须将这些类别整数进行独热编码，以便数据适合拟合神经网络的多类分类模型。我们可以通过调用 to_categorical() Keras 函数来完成此操作。

下面的 load_dataset() 函数实现了此功能，并返回准备好拟合和评估已定义模型的训练和测试 X 和 y 元素。

拟合和评估模型

现在数据已加载到内存中并准备好进行建模，我们可以定义、拟合和评估一个 1D CNN 模型。

我们可以定义一个名为 evaluate_model() 的函数，该函数接收训练和测试数据集，在训练数据集上拟合模型，在测试数据集上进行评估，并返回模型性能的估计值。

首先，我们必须使用 Keras 深度学习库定义 CNN 模型。该模型需要三维输入，格式为 [样本、时间步、特征]。

这正是我们加载数据的方式，其中一个样本是时间序列数据的一个窗口，每个窗口有 128 个时间步，而一个时间步有九个变量或特征。

模型的输出将是一个六个元素的向量，其中包含给定窗口属于六种活动类型之一的概率。

在拟合模型时需要这些输入和输出维度，我们可以从提供的训练数据集中提取它们。

为简单起见，模型定义为 Keras 顺序模型。

我们将模型定义为具有两个 1D CNN 层，然后是一个用于正则化的 dropout 层，接着是一个 池化层。将 CNN 层定义为两组是很常见的，以便模型有很好的机会从输入数据中学习特征。CNN 学习速度非常快，因此 dropout 层旨在帮助减慢学习过程，并有望获得更好的最终模型。池化层将学习到的特征大小减小到原来的 1/4，将其整合为最重要的元素。

在 CNN 和池化之后，学习到的特征被展平为一个长向量，并经过一个全连接层，然后是用于进行预测的输出层。全连接层理想地提供了学习到的特征和输出之间的缓冲，目的是在进行预测之前解释学习到的特征。

对于此模型，我们将使用标准的配置，即 64 个并行特征图和 3 个的核大小。特征图是输入被处理或解释的次数，而核大小是在读取或处理输入序列到特征图时考虑的输入时间步的数量。

将使用随机梯度下降的标准 Adam 版本来优化网络，由于我们正在学习一个多类分类问题，因此将使用分类交叉熵损失函数。

模型的定义如下所示。

模型将进行固定数量的 epoch 训练，本例中为 10 个，并将使用 32 的批次大小，即在模型权重更新之前，模型将看到 32 个窗口的数据。

模型拟合完成后，将在测试数据集上进行评估，并返回拟合模型在测试数据集上的准确率。

完整的 evaluate_model() 函数如下所示。

网络结构或选择的超参数没有什么特别之处；它们只是这个问题的起点。

总结结果

我们无法从一次评估中判断模型的技能。

原因在于神经网络是随机的，这意味着在同一数据上训练相同的模型配置将产生不同的具体模型。

这是网络的一个特点，因为它赋予了模型自适应能力，但需要对模型进行更复杂的评估。

我们将重复模型评估多次，然后总结模型在每次运行中的性能。例如，我们可以调用 evaluate_model() 共 10 次。这将产生一个需要总结的模型评估分数总体。

我们可以通过计算和报告性能的平均值和标准差来总结分数样本。平均值给出模型在数据集上的平均准确率，而标准差给出准确率相对于平均值的平均方差。

下面的 summarize_results() 函数总结了运行结果。

我们可以将重复的评估、结果收集和结果总结打包到一个主函数中，称为 run_experiment()，如下所示。

默认情况下，模型会先评估 10 次，然后报告模型的性能。

完整示例

现在我们有了所有的组成部分，可以将它们组合成一个可工作的示例。

完整的代码列表如下。

运行该示例首先会打印加载的数据集的形状，然后是训练集和测试集的形状以及输入和输出元素。这确认了样本数、时间步长和变量数，以及类别数。

接下来，模型被创建和评估，并且每个模型都会打印一个调试消息。

注意：您的结果可能会有所不同，具体取决于算法或评估程序的随机性，或者数值精度的差异。请考虑运行示例几次并比较平均结果。

最后，打印分数样本，然后是均值和标准差。我们可以看到，该模型表现良好，在原始数据集上训练时达到了约 90.9% 的分类准确率，标准差约为 1.3。

考虑到原始论文发表的结果是 89%，且是在经过大量领域特定特征工程的数据集上训练的，而不是原始数据集，这是一个不错的结果。

既然我们已经看到了如何加载数据并拟合 1D CNN 模型，我们就可以研究一下通过一些超参数调整是否能进一步提升模型的技能。

经过调整的一维卷积神经网络

在本节中，我们将调整模型，以期进一步提高在该问题上的性能。

我们将关注三个主要方面

1. 数据准备
2. Filters数量
3. Kernel大小

数据准备

在上一节中，我们没有进行任何数据预处理。我们直接使用了数据。

主要的数据集（身体加速度、身体陀螺仪和总加速度）已被缩放到 -1 到 1 的范围。尚不清楚数据是按受试者缩放的，还是跨所有受试者缩放的。

一种可能有助于改进的转换是，在拟合模型之前对观测值进行标准化。

标准化是指将每个变量的分布移动，使其均值为零，标准差为 1。只有当每个变量的分布是高斯分布时，它才有意义。

我们可以通过绘制训练数据集中每个变量的直方图来快速检查每个变量的分布。

这里有一个小小的困难，数据被分割成 128 个时间步长的窗口，重叠率为 50%。因此，为了公平地了解数据分布，我们必须先删除重复的观测值（重叠部分），然后移除数据的窗口化。

我们可以使用 NumPy 来做到这一点，首先对数组进行切片，只保留每个窗口的后半部分，然后将每个变量的窗口展平成一个长向量。这是一种快速粗糙的方法，确实意味着我们丢失了第一个窗口前半部分的数据。

加载数据、展平数据并为九个变量中的每个变量绘制直方图的完整示例列在下面。

运行示例会创建一个包含九个直方图的图形，每个图形对应训练数据集中的一个变量。

图形的顺序与数据加载的顺序相匹配，具体是

1. 总加速度 x
2. 总加速度 y
3. 总加速度 z
4. 身体加速度 x
5. 身体加速度 y
6. 身体加速度 z
7. 身体陀螺仪 x
8. 身体陀螺仪 y
9. 身体陀螺仪 z

我们可以看到，除第一个变量（总加速度 x）可能之外，每个变量都具有类似高斯分布的分布。

总加速度数据的分布比身体数据的分布更平坦，身体数据的分布更尖锐。

我们可以探索使用幂变换来使分布更像高斯分布，但这留作练习。

训练数据集中每个变量的直方图

数据具有足够的高斯相似性，可以探索标准化转换是否能帮助模型从原始观测值中提取有用的信号。

下面名为 scale_data() 的函数可用于在拟合和评估模型之前标准化数据。将使用 scikit-learn 的 StandardScaler 类来执行转换。它首先在训练数据上进行拟合（例如，找到每个变量的均值和标准差），然后应用于训练集和测试集。

标准化是可选的，因此我们可以应用该过程，并在对照实验中将其结果与不进行标准化的相同代码路径进行比较。

我们可以更新 evaluate_model() 函数以接受一个参数，然后使用此参数来决定是否执行标准化。

我们还可以更新 run_experiment() 函数，为每个参数重复实验 10 次；在这种情况下，将仅评估两个参数 [False, True]，分别表示不标准化和标准化。

这将产生两个可以比较的结果样本。

我们将更新 summarize_results() 函数来为每个配置参数总结结果样本，并创建一个箱线图来比较每个结果样本。

这些更新将允许我们直接比较模型按原样拟合的结果与数据集标准化后的结果。

这本身也是一个通用的更改，允许我们在接下来的章节中评估和比较其他参数集的结果。

完整的代码列表如下。

运行该示例可能需要几分钟时间，具体取决于您的硬件。

每个评估模型的性能都会被打印出来。在运行结束时，将总结每个测试配置的性能，显示均值和标准差。

注意：您的结果可能会有所不同，具体取决于算法或评估程序的随机性，或者数值精度的差异。请考虑运行示例几次并比较平均结果。

我们可以看到，在建模之前标准化数据集确实能带来性能的小幅提升，从大约 90.4% 的准确率（接近我们在上一节中看到的）提升到大约 91.5% 的准确率。

结果的箱线图也已创建。

这使得可以以非参数方式比较两个结果样本，显示中位数和每个样本的中间 50%。

我们可以看到，标准化结果的分布与不标准化结果的分布有很大的不同。这很可能是一个真实的效果。

1D CNN（标准化与否）的箱线图

Filters数量

既然我们有了一个实验框架，我们就可以探索调整模型的其他超参数。

CNN 的一个重要超参数是 filter map 的数量。我们可以尝试一系列不同的值，从比我们开发的第一个模型中使用的 64 个值少到多。

具体来说，我们将尝试以下数量的特征图

我们可以使用上一节的相同代码，并更新 evaluate_model() 函数，将提供的参数用作 Conv1D 层中的过滤器数量。我们还可以更新 summarize_results() 函数，将箱线图保存为 exp_cnn_filters.png。

完整的代码示例如下所示。

运行示例会为每个指定的过滤器数量重复实验。

运行结束后，将展示每个过滤器数量结果的摘要。

注意：您的结果可能会有所不同，具体取决于算法或评估程序的随机性，或者数值精度的差异。请考虑运行示例几次并比较平均结果。

我们可以看到，平均性能随着 filter map 数量的增加而增加。方差保持相对恒定，也许 128 个特征图可能是网络的良好配置。