Automatic Annotation for Human Activity Recognition in Free Living Using a Smartphone
自动标注在基于智能手机对人体日常生活动作进行识别中的应用
Cruciani, F., et al. (2018). "Automatic Annotation for Human Activity Recognition in Free Living Using a Smartphone." 18(7): 2203.
https://www.mdpi.com/1424-8220/18/7/2203
Keywords: human activity recognition; supervised machine learning; label noise; automatic annotation; inertial sensors; smartphone
Abstract：
数据标注（data annotation） 因为耗时 所以成为人体动作识别（HAR）中的主要限制。
然而在监督机器学习（supervised Machine Learning）中需要大量的带标注的数据（labeled data）。
在本作中，
(1)一种自动标注方式（automatic labeling method），来加速带标注数据的收集；
(2)对比了手动标注数据（manually labeled data）和自动标注数据，和不同分类模型对自动标注数据的影响。
1. Introduction
随着智能手机的发展，用智能手机做HAR越来越流行，但仍有问题需要解决。
使用实验室数据进行离线训练出的模型，真正应用的时候精确度很显著下降，而且因为缺乏个性化（personalization），模型泛化做的不好。
所以在线训练方式（online approaches）流行起来，这种方式最大的障碍在于需要带标注的数据来训练和效验模型，同时这也是监督机器学习的一个问题。
除此之外，大多HAR都是用监督学习来实现的，完全的非监督学习对HAR来说很难实现。
有很多方法被发明来提高数据标注的速度，但都只适用于离线训练，不适用于在线个性化训练。
还有一些方法，比如：
（1）crowd labeling
（2）semi-surpervised+label propagation
（3）data-driven/knowlefge-driven methods，hybrid
在本作中提出了一种适合于在线监督训练的知识驱动自动标注方法（knowledge-driven automatic labeling method）。
在训练过程中，使用了弱标签（weak labels），弱标签是由启发函数（heuristic function）结合步数信息（step count）和GPS信息得到的。最终仅利用加速度传感器数据便可在线分类。
在引用14中得知了一种监督机器学习方法的可行性，该方法完全依赖于以弱标签形式自动标记训练数据集来训练基于加速度传感器的分类器。但却准度不高（74%）。
本作中发明了一个新的启发函数（new/improved heuristic function），它可以评估标注的质量，从而能够剔除不可靠的标注，这可以使得数据有更高的标注质量，准确度可达84%。
这种新颖的方法优点有：（1）自动标注数据，免除产生训练数据集负担；（2）检查传统机器学习方式对标注噪声的鲁棒性
2. Background
2.1 基于智能手机的动作识别
离线训练+在线识别是最普遍的方法。
一个典型的动作识别流程（Activity Recognition Chain）包含传感器，预处理，特征提取，分类。
2.2 传感器类型
通常对于智能手机来说，多用惯性传感器（Inertial sensors），包括加速度计和陀螺仪(accelerometer and gyroscope) 。
加速度计（Accelerometers）能够提供最多的信息（informative），也是用的最多的，也会和陀螺仪（gyroscopes）和磁力计（magnetometers）结合，btw这样的结合能提升5%的准确度。
也会和GPS，气压计（barometers）等传感器结合，eg加速度+气压计在分类上下楼中的应用。
2.3 预处理
传感器信号在进行特征提取前要进行预处理（Preprocessing），多数情况下包括滤波（filtering）和分段（segmentation）。
在HAR中，通常用低通滤波器，因为98%、99%的有用信息都包含在频率1-10、1-15Hz的频段中。btw所以一般的采样频率为20-30Hz，这样既可以避免太低造成欠采样（undersampling）或者太高造成不必要的电池消耗。
分段通常使用滑动窗口方式（sliding window approach），在HAR中，1s的窗口尺寸是最好的。
2.4 特征提取
特征（Extracted features）可分两种类型，时域特征和频域特征（time domain and frequency domain features）。
时域特征包括均值，方差，偏度，峰度，最大值最小值，峰距。
频域特征需要功率谱密度（PSD）计算，通常用离散傅里叶变化（DFT）。
需要注意的是用传统的传感器时，我们可以事先知道传感器的位置和方向。然而在用智能手机做HAR时，因为不同用户对智能手机的携带方式不同，所以很难确定传感器数据的基准位置和方向。
有三种解决方式可供选择：
（1）在分类中采用分级策略，第一级区分传感器的位置和方向，第二级根据上一级得出的结果采取合适的分类器进行分类。
（2）使用信号的三维幅值
（3）sign-invariant features(as the absolute value of features on the three axes)
通常情况下时域特征（尤其是均值和方差）的信息量最大。
但在有些情况下特征提取是不必要的，比如深度学习（Deep Learning）中可以直接使用未处理的数据。
2.5 分类方法
Decision Trees (DTs), Support Vector Machines (SVMs) and k-Nearest Neighbors (kNN)
Probabilistic models such as Hidden Markov Models (HMMs), Conditional Random Fields (CRFs) and Skip Chain CRFs (SCCRFs)
Deep Learning：Convolutional Neural Networks (CNNs) and Deep Belief Networks (DBNs)
尽管DL的精度高，但由于DL需要复杂的运算过程，所以可能不利于嵌入智能手机中。
2.6 分类准确度
总体表现经常用precision, recall and f-score来衡量。
也会用混淆矩阵（Confusion matrices）来分析。
比较表现好坏是个复杂的任务，由于数据量大小的不同、数据获得方式的不同等原因。
2.7 基于智能手机HAR项目中的挑战
（1）the need for labelled datasets for ground truth annotation 数据标注很费时。
（2）class imbalance 类别的不平衡性（比如出现频率）影响训练。
为了解决这些挑战，提出了Crowd labelling approaches、Semi-supervised methods。
半监督学习（Semi-supervised methods）只需要标记一部分样本，便可以使用未标记的数据点进行训练。通常使用的方法有label propagation or Multi-Instance Learning (MIL)。
尽管这种方式节省了标注数据的时间，但仍要有部分数据要求被标注。
在大多数情况下还是要使用全标注数据（full labeled dataset）。
3. Implementation
本研究的目的是找出一种新颖的方法来解决数据标注的问题。
本研究使用了弱标注（weak labels），通过启发函数（heuristic function）自动产生弱标注。
The heuristic function combines GPS and step count information in a knowledge-driven model, in order to generate the weak labels that are then used to build the training dataset, thus enabling an online learning approach in a free-living setting.
3.1 在线训练结构
图片来自paper
3.2 利用启发函数自动标注（The Heuristic Function for Automatic Labeling）
发函数结合步数信息和GPS信息产生标注数据样本（label data samples），其中步数信息也可以通过对加速度传感器波形分析得出。
在先前的研究中，使用弱标签和使用全标签对训练准确度的影响不同主要是由于启发函数产生的标注太过粗糙（the fact that the heuristic generates an annotation at a coarse level），这是由于GPS信息更新频率太小导致弱标签数据相比于手动标注数据不确定性更高。
另外比较了两者的学习曲线，全监督学习（用全标注标签训练）更快的到达可接受的准确度，尤其是在数据样本比较小时，但数据样本比较大时，两者的差距会降低。
在本研究中，发明了一种改进型启发函数（improved version of the heuristic），它可以估计生成的弱标签的可靠度，从而优化训练数据点的选择。
本节3.2介绍这个启发函数以及它如何估计标注的质量，本论文中的动作类型有坐、走、跑、骑车、坐车（transportation）。
步数信息作为启发函数的第一个原则。通过步数信息可以得到steps/minute (spm) rate。得到spm后启发函数就可以推导（deduct）这个大致是一个什么动作（比如走路一般为90-110spm，跑步一般为160-180spm），然后将spm相近（差距小于10）的连续时间段进行融合（merge）。融合的目的是因为接下来要与GPS信息相结合，但GPS信息的获取频率低。通过GPS信息可以估计速度信息，通过速度信息估计动作类型（1.4 m/s walking, 3–4 m/s running, cycling 4–8 m/s and using some mean of transportation ≥20 m/s）。
根据以上两点就可以生成一个弱标签，同时也可以评估标注质量（Assessing Quality of Labels），这就是enhanced version of the heuristic：
首先用两个模糊集（fuzzy set）以及成员函数（membership functions）来得到两个弱标注的可能性和
和
表示可能性估计，当低于50%时表示动作模棱两可的（ambiguous），比如spm=50时可能是慢走也可能是走走停停，spm=130时可能是边走边跑。
那么现在我们可以通过以下公式来计算一个动作弱标注可能性（也就是标注的质量）：
下图对比了通过这种启发函数方式产生的弱标注和手动标注：
我们现在可以利用通过启发函数自动产生的弱标注数据集作为分类器的训练集使用。
3.3 加速度传感器数据分段和特征提取
加速度传感器数据采集频率为30Hz。采用重叠率50%、长度1s的窗口作为滑动窗口。
主要依赖时域特征，同时包含一些频域特征，如下图：
4. Methods
4.1 实验方案
The user was asked to use the app to annotate activities while performing his normal routine, allowing to have a manually labeled groundtruth to assess both the accuracy of the automatic labeling, and the final detection accuracy of a trained classifier.为了实验目的，我们需要手动标注动作类型，来计算自动标注的准确性以及最终分类的准确性。
4.2 数据分析和校验
由于是日常行为数据，数据集会有高度的不平衡（比如走路的数据会比跑步的多很多）为了减少数据不平衡现象，采用欠采样方法平衡数据集。
主要注意的是，在丢弃数据点时，并不是随机丢弃（random elimination），而是根据上面介绍的标注的质量（quality of labels）来丢弃可靠度不高的数据点。
最后形成的平横的数据集是以下的形式：
（1）将以上数据集9：1随机分为训练集和测试集；
（2）训练集的标注采用弱标注；
（3）测试集的标注使用手动标注。
5. Dataset
6. Results
6.1 启发函数生成的弱标注准确性
虽然准确率有波动，但已经可以找出一部分作为训练数据点使用了。
6.2 分类准确性
7. Discussion
（1）自动标注的质量有很大的可变性，在动作交替频繁的一天中，自动标注的准确度较低。
（2）但由于可以检测标注的质量，所以我们可以选择表现好的数据集作为训练集。
（3）be more robust to this label noise.
（4）NNs和Random Forests模型表现最好，但NNs可能更适合于在线训练，因为NNs updating the weights when new samples are available。
（5）Overall, this enhanced version of the heuristic appears to improve significantly the final classification accuracy.
8. Conclusion
总结：
用改进型启发函数（improved heuristic function）生成弱标注，来解决标注耗时问题和提高弱标注准确性。
利用弱标注的数据集训练分类器，可以得到不错的分类准确度。