Piecewise affine regression via recursive multiple least squares and multicategory discriminatinatio

基于递推多元最小二乘和多类判别的分段仿射回归

摘要

在非线性回归中，选择合适的模型结构往往是一个具有挑战性的问题。虽然简单的模型（如线性函数）可能无法捕捉变量之间的内在关系，但由一大组非线性基函数描述的参数化模型往往会对训练数据进行过度拟合，导致对未知数据的泛化能力较差。Piecewise affine（PWA）模型可以描述非线性和可能的不连续关系，同时保持简单的局部仿射回归器输出映射，当从数据而不是固定先验学习回归空间的多面体划分时，具有极大的灵活性。在这篇文章中，我们提出了一个新的和数值上非常有效的两阶段方法，基于（i）递归多模型最小二乘技术用于聚类和拟合线性函数到数据，和（ii）线性多类别判别，离线（批量）通过牛顿算法计算目标函数具有分段光滑梯度或通过平均随机梯度下降在线（递归）的无约束优化问题的解。

介绍

回归分析是一种有监督的学习方法，旨在从一组训练数据中重建特征向量x与连续值目标输出y之间的关系。PieceWise Affine（PWA）函数为非线性回归提供了简单而灵活的模型结构，因为它们可以描述回归器x和输出y之间的非线性和可能的不连续关系，所以它们是通过将回归器空间划分为有限个内部没有重叠的多面体区域，并考虑每个多面体上的仿射模型来定义的。

PWA回归问题相当于从一组训练数据中学习回归空间的划分和定义每个仿射子模型的参数。PWA回归一般是一个NP难问题（参见劳尔，2015详细分析了PWA回归的复杂性），并且从文献中可以找到几种从数据估计PWA映射的算法（见Garulli、Paoletti、VICINO、2012；Paoletti、Juloski、法拉利TrCeTATE、VIDID，2007概述）。在Ohlsson和永格（2013）中提出了基于“1正则化”的凸松弛，以近似由PWA回归引起的潜在组合问题。在Roll、Betempod和Ljung（2004）中，作者通过混合整数规划解决了PWA回归问题。当整变量的数目随着训练样本数目的增加而增加时，该方法仅限于具有少量观测值且寻求全局最优的问题。Betempod、Garulli、Paoletti和Vicino（2005）、Ferrari Trecate、Muselli、Liberati和Morari（2003）、Juloski、Weiland和Heemels（2005）和Nakada、Takaba和Katayama（2005）中提出的算法首先计算仿射局部模型的参数，然后划分回归空间。根据一定的准则将每个数据点分配给一个子模型，同时估计仿射子模型的参数，从而对观测值进行聚类。在第二阶段，使用线性分离技术来计算多面体划分。这些算法在实际应用中表现出良好的性能，但在数值上可能效率低下。betempod等人的贪婪算法。（2005）在训练集较大的情况下，划分线性不等式的不可行集的计算量较大。期望最大化（EM）算法用于数字实现Nakada等人的统计聚类方法。（2005）在具有许多参数的PWA映射的情况下可能变得低效。朱洛斯基等人。（2005）通过概率密度函数描述子模型参数，通过粒子滤波算法迭代更新，然而，概率密度函数的精确近似可能需要大量粒子。在法拉利-特雷卡特等人。（2003）通过K-均值算法对回归向量进行聚类，并通过加权最小二乘法得到子模型参数。尽管法拉利Trecate等人。（2003）在聚类和参数估计阶段都能处理大的训练集，当仿射局部子模型过度参数化（即局部模型依赖于冗余回归）时，由于回归空间中的距离（即用于聚类的唯一准则）的存在，可能会得到较差的结果被多余的，因而不相关的信息破坏。

影响上述PWA回归算法的另一个限制是，它们只能在批处理模式下执行，因此不适合在线应用，在这种模式下，在获取新数据时必须实时更新PWA模型。Bako、Boukharouba、Duviella和Lecoeuche（2011）提出了一种计算效率高的在线PWA回归算法，该算法迭代聚类训练样本，通过递归最小二乘法更新模型参数。该方法的一个主要限制是，回归矩阵空间的多面体划分是由群集质心的Voronoi图给出的，比一般的线性分离映射结构更不灵活，这可能限制回归能力。

本文描述了一种新的近似向量值，并可能不连续的函数在PWA形式，试图克服上述局限性现有的方法。该算法包括两个阶段：（S1）回归向量的同时聚类和模型参数的估计，通过对训练对{x（k），y（k）}进行递归处理；（S2）通过有效的多类线性分离方法计算回归空间的多面体划分，要么通过类牛顿方法批量执行，要么通过平均随机梯度下降算法在线（递归）执行。总而言之，PWA回归算法在计算上对离线学习非常有效，并且适合在线学习，如示例所示。Breschi、betempod和Piga（2016）讨论了所提出的PWA回归算法在识别线性参数变化和混合动力模型中的应用。

论文的结构如下。第2节描述了PWA回归问题。第三节介绍了同时对观测回归模型进行聚类和模型参数更新的算法，以及用于计算回归域多面体划分的多类别判别算法。第4节给出了一个仿真实例，证明了该方法的有效性。

1.1 表示法

设 ${\R}^n$是维数n的实向量集。设 ${I \subset \{1,2,...,\}}$是一个有限的整数集，用I的基数|I|表示I。给定一个向量 ${a\in\R^n}$, 让 ${a_i}$表示 ${a}$的第i个条目, ${a_I}$通过收集所有 ${i\in I}$的条目 ${a_i}$获得的子向量, ${\parallel}a{\parallel}_2$是 $a$的欧几里得函数， $a_+$第i个元素为max{a，0}的向量,给定两个向量 $a,b\in\R^n$,max（a，b）是第i个分量为 $max\{a_i,b_i\}$的向量。给一个矩阵 ${A\in \R^{n×m}}$，A’定义为A的转置， $A_i$是A的第i行， $A_I$是A的子矩阵，是通过收集所有 ${i\in I}$的行 $A_i$实现。 $A_{IJ}$通过分别收集由 ${i\in I}$和 ${j\in J}$索引的A的行和列而获得的A的子矩阵。设 $I_n$为尺寸为n的单位矩阵， $1_n$和 $0_n$分别为1和0的n维列向量。符号" $\propto$"表示线性比例。

2 问题描述

假设向量值PWA函数 $f:\chi\rightarrow\R^{n_y}$定义为:

未完待续