机器学习教程 之 慢特征分析：时序特征挖掘

慢特征分析（slow feature analysis,SFA）是 wiskott 在2002年的一篇论文里提出来的无监督学习方法,它可以从时间序列中提取变化缓慢的特征，被认为是学习时间序列最显著特征的一种方法。这里只讲述SFA应用于线性问题时的模型和解法，其对于非线性问题的应用，是基于线性模型并结合核函数来进行优化的。

一.慢特征分析模型的数学描述

首先，对于给定的原始时序特征 $u(t)$ ， 我们有符号

$\Delta(u) = <\dot{u}^{2}(t)>_{t}$ 这里 $\dot{u}(t) = u(t) - u(t-1)$ 表示时序差分，$<\cdot>_{t}$ 表示序列的期望。 运算 $\Delta(u(t))$ 的值可以认为是序列 $u(t)$ 波动快慢的一个度量。给定一个 n 维的时序数据 $x(t) = [x_{1}(t),x_{2}(t),...,x_{n}(t)]^{T}$，**SFA旨在找到一系列慢特征 $s(t) = [s_{1}(t),s_{2}(t),...,s_{n}(t)]^{T}$。这些慢特征是按照从慢到快或者从快到慢排序的，一般而言我们认为提取后的特征中变化最慢的几个特征是最能体验数据本质特性的特征，将其保留，而变化快速的特征认为是一些噪声信号，将其舍弃**。

SFA的线性模型可以写成如下形式
$min <\dot{s}^{2}_{i}>$

约束为
$<s_{i}>_{t} = 0$ ，零均值
$<\dot{s}^{2}(t)>_{t} = 1$ ，单位方差
$i \neq j , <s_{i}s_{j}>_{t} = 0$ , 去相关

该模型中 $s(t) = W^{T}x(t)$，即模型可以理解为将原始数据 $x$ 转化为慢特征 $s$ 以后要求 $s$ 的波动变化最慢，同时对 $s$ 具有以上的三个限制。 线性的SFA通过矩阵分解的办法可以得到完美的解析解。

二.慢特征模型的求解

我已经提到 $s(t) = W^{T}x(t)$ ，这里的 $W = [w_{1},w_{2},...,w_{n}]^{T}$ 是SFA需要优化求解的对象。我们首先对原始数据进行预处理白化操作，即使得数据满足于第一节提到的三个约束条件，记 $B = <xx^{T}>_{t}$, 对 $B$ 矩阵进行SVD分解，可以得到

$B = U\Lambda U^{T}$ 基于上式，我们可以得到预处理之后的白化数据 $z = \Lambda^{-1/2} U^{T}x$ 白化后的数据 $z$ 的协方差矩阵为单位阵，即具有性质 $cov(z) =

参考文献
[1] Wiskott L, Sejnowski T J. Slow feature analysis: unsupervised learning of invariances[J]. Neural Computation, 2002, 14(4):715.