文章目录
写在前面：这次的文章也是AAAI会议的，作者是两位来自韩国的盆友。
1 摘要
随着时间序列数据 爆炸性增加，预测它们的类别标签已经成为众多学科中最重要的挑战之一。
最近关于时间序列分类的研究表明，卷积神经网络（CNN）作为单一分类器取得了最先进的性能。
在这项工作中，我们指出现有的CNN分类器通常采用的全局池化层会抛弃高维度特征的时间信息，因此我们提出了一种动态时间池化（DTP）技术，通过在段级聚集特征来减少隐藏表征的时间大小。
对于将整个系列划分为多个片段，我们利用动态时间扭曲（DTW）将每个时间点的时间顺序与片段的原型特征对齐，这可以与CNN分类器的网络参数同时优化。
DTP层与全连接层相结合，有助于提取进一步的鉴别性特征，考虑其在输入时间序列中的时间位置。在单变量和多变量时间序列数据集上进行的广泛实验表明，我们提出的汇集方法明显提高了分类性能。
2 引言
2.1 背景介绍
在过去的二十年里，时间序列分类一直由最近邻分类器主导（比如说K-means），这些分类器基于人工处理的基于特征的表征（Baydogan, Runger, and Tuv 2013; Schäfer 2015）或时间序列之间的各种距离度量（Zhao and Itti 2018; Yuan et al. 2019b）。
最近，有一些尝试利用深度神经网络（DNN）进行时间序列分类器（Zheng等人，2016；Zhao等人，2017；Wang，Yan和Oates，2017）；它们不需要在特征表示或数据预处理方面进行大量的加工，而且也很容易应用于多变量时间序列。
在实践中，为时间序列分类设计的全卷积网络（FCN）和残差网络（ResNet）（Wang, Yan, and Oates 2017）在各种DNN竞争对手中显示出最先进的准确性（Fawaz等人，2019）。
2.2 参考文献
-
Baydogan, M. G.; Runger, G.; and Tuv, E. 2013. A bag-of-
features framework to classify time series. IEEE transac-
tions on pattern analysis and machine intelligence 35(11):
2796–2802. -
Schäfer, P . 2015. The BOSS is concerned with time series
classification in the presence of noise. Data Mining and
Knowledge Discovery 29(6): 1505–1530. -
Zhao, J.; and Itti, L. 2018. shapedtw: Shape dynamic time
warping. Pattern Recognition 74: 171–184. -
Y uan, J.; Lin, Q.; Zhang, W.; and Wang, Z. 2019b. Locally
Slope-based Dynamic Time Warping for Time Series Classi-
fication. In Proceedings of the 28th ACM International Con-ference on Information and Knowledge Management, 1713–1722. -
Zheng, Y .; Liu, Q.; Chen, E.; Ge, Y .; and Zhao, J. L. 2016.
Exploiting multi-channels deep convolutional neural net-
works for multivariate time series classification. Frontiers
of Computer Science 10(1): 96–112. -
Wang, Z.; Y an, W.; and Oates, T. 2017. Time series clas-
sification from scratch with deep neural networks: A strong
baseline. In 2017 International joint conference on neural
networks, 1578–1585. IEEE. -
Fawaz, H. I.; Forestier, G.; Weber, J.; Idoumghar, L.; and
Muller, P .-A. 2019. Deep learning for time series classifi-
cation: a review. Data Mining and Knowledge Discovery
33(4): 917–963
2.3 CNN存在问题
然而，现有的卷积神经网络（CNN）并不能充分利用高维时间序列特征时序信息进行分类。
在最上面的几层卷积层，CNN分类器采用全局平均池化（GAP）或全局最大池化（GMP），简单地将所有隐层特征沿时间轴聚集。
这样，就可以获得一个输入时间序列的全局表示，并且由于使用了更少的模型参数，从而避免过拟合问题。
然而，这样的全局池化未考虑隐藏特征的时间位置，这使得CNN只学习到位置不固定的时间特征。由于每个时间位置本身可能是时间序列分类中区分不同类别的有用特征，全局池化层最终会降低分类器的性能。【全局池化会丢失时序信息】temporal info
为了解决这一局限性，我们提出了一种新的池化方法，它可以有效地减少网络输出的时间大小（即长度），同时最大限度地减少时序信息。
由于观察到时间序列样本由具有不同模式的多个片段组成，我们的动态时间池化层（DTP）为每个片段输出一个池化向量，而不是整个序列的向量。
DTP层通过聚合每个片段的隐藏向量来产生片段级的表示，因此它能够根据片段特定的类权重来建立分类分数模型。换句话说，我们的CNN分类器用段级集合取代了全局集合（之后是全连接层），这允许提取进一步的类别区分特征并提高分类精度。我们还专门为我们的DTP层提出了类激活图（CAM），表明每个时间区域对预测输入时间序列的类标签有多大贡献。
这里的挑战是如何从输入的时间序列实例中找出一致的片段，这些片段在时间上是不一致的。为此，DTP层通过使用动态时间扭曲（DTW）进行语义分割。
我们首先引入可训练的潜在向量，其数量与待识别的片段数量相同，称为原型隐性序列，用于将每个片段的原型特征按时间顺序编码到其中。然后，DTP层将网络输出（即隐藏向量序列）与原型隐藏序列对齐，同时根据DTW保持它们的时间顺序；这就产生了与每个片段匹配的连续时间点集合。
最后，我们同时优化CNN分类器的网络参数和原型隐藏序列，使两者协同改进。也就是说，训练CNN有助于捕捉片段的原型特征，学习原型隐藏序特征有助于CNN提取判别特征。