PointNet支撑材料（理论证明）

PointNet支撑材料（理论证明）

这一部分记录了PointNet中两个定理的证明和博主的学习笔记。具体的定理可以参见论文学习笔记，这里仅给出证明。更新于2018.10.12。

Theorem 1

定理1要证明的是设计的网络结构能够模拟任意一个连续（依照具体定义）的函数，且最差的情况是将空间内等分成立方体。

令 $\mathcal X = \{S:S\subseteq [0,1] \;\text{and}\; \vert S\vert =n\}$。
如果满足下列条件， $f:\mathcal \to \mathbb R$是一个 $\mathcal X$上对于Hausdorff距离 $d_H(\cdot,\cdot)$连续的函数：
$\forall \epsilon \gt 0, \ \exists\delta\gt 0,\ 使得任意S,S'\in \mathcal X, 若d_H(S,S')\lt\delta,有\vert f(S)-f(S')\vert \lt \epsilon$

这里需要证明的是 $f$可以被任意一个对称函数和连续函数近似。

证：
由 $f$的连续性，取 $\delta_{\epsilon}$使得若 $d_H(S,S')\lt\delta_{\epsilon}$，那么对于任意 $S,S'\in\mathcal X$都有 $\vert f(S) - f(S')\vert \lt \epsilon$。
定义 $K=\lceil 1/\delta\\_{\epsilon}\rceil$，将区间 $[0,1]$等分成 $K$份；再定义一个辅助函数，其作用是将一个点映射到它所在区间的左侧端点处：
$\sigma(x)=\frac{\lfloor Kx \rfloor}{K}$
令 $\tilde S=\{\sigma(x):x\in S\}$，那么由于 $d_H(S,\tilde S)\lt1/K\leq\delta_{\epsilon}$，因此有：
$\vert f(S)-f(\tilde S)\vert\lt\epsilon$

令 $h_k(x)=e^{-d(x,[ \frac{k-1}{K},\frac{k}{K}] )}$为一个软指示函数（soft indicator function），其中 $d(x,I)$是点到集合（间隔）的距离。令 $\mathbf{h}(x)=[h_1(x);\cdots;h_K(x)]$，则 $\mathbf{h}:\mathbb R \to \mathbb R^K$。

博主注：指示函数（indicator function）是用来标注一个点是否属于集合，如果属于值为1，反之值为0。 $h_k(x)$的含义就是 $x$是否属于集合 $k$的指示函数。

令 $v_j(x_1,\cdots ,x_n)=\max\{\tilde h_j(x_1),\cdots , \tilde h_j(x_n)\}$，用于指示 $S$中的点对于第 $j$个间隔的占用。令 $\mathbf{v}=[v_1;\cdots ; v_K]$；那么 $\mathbf v:\underbrace{\mathbb R \times \cdots \times \mathbb R}_n \to \{0,1\}^K$就是一个对称函数，记录了 $S$中的点对所有间隔的占用。

博主注：对称函数（symmetric function）是指输出不会随输入的顺序改变，比如对称矩阵就可以看作是行序号与列序号的对称函数。

定义 $\tau:\{0,1\}^K\to\mathcal X$其中 $\tau(\mathcal v)=\{\frac{k-1}{K}:\mathcal v_k\geq 1\}$，其将占用向量（occupancy vector）映射到每个所占用的区间的左端点。不难得到：
$\tau(\mathbf v(x_1,\cdots,x_n))\equiv\tilde S$
其中 $x_1,\cdots,x_n$是从 $S$中按照某种特定顺序提取出来的元素。

令 $\gamma : \mathbb R^K\to\mathbb R$是一个连续函数使得 $\gamma(\mathbf v)=f(\tau(\mathbf v))$对 $\mathcal v\in \{0,1\}^K$成立。那么，
$\vert\gamma(\mathbf v(x_1,\cdots,x_n))-f(S)\vert\\ =\vert f(\tau (\mathbf v(x_1,\cdots,x_n)))-f(S)\vert \lt \epsilon$

由于 $\gamma(\mathbf v(x_1,\cdots,x_n))$可以写成如下形式：
$\gamma(\mathbf v(x_1,\cdots,x_n))=\gamma(\textbf {MAX}(\mathbf h(x_1),\cdots,\mathbf h(x_n)))\\ =(\gamma \circ \textbf{MAX})(\mathbf h(x_1),\cdots,\mathbf h(x_n))$

显然 $\gamma\circ\textbf{MAX}$是一个对称函数。
得证。

Theorem 2

下面给出定理2的证明。定义 $\mathbf u = \mathop{\textbf{MAX}}\limits_{x_i\in S}\{h(x_i)\}$是 $f$的一个子网络，其中 $f$将区间 $[0,1]^m$中的点映射成 $K$维的向量。定理2证明了小的扰动或多余的噪声点不太可能引起网络的输出变化。

证：

显然， $\forall S \in \mathcal X$， $f(S)$都由 $\mathbf u(S)$决定。因此，只需要证明 $\forall S, \exists \mathcal C_S, \mathcal N_S \subseteq \mathcal X$，使得如果 $\mathcal C_S\subseteq T\subseteq \mathcal N_S$，有 $f(T)=f(S)$。

对于 $\mathbf u$的第 $j$维输出，总存在至少一个 $x_j\in \mathcal X$，使得 $h_j(x_j)=\mathbf u_j$，其中 $h_j$是 $h$对应输出的第 $j$维。

博主注：这是因为，从定理1的证明中我们可以看出， $\mathbf u$是对 $h(x)$取最大值得到的，也就是说，至少应该有一个 $h_j(x_j)$对应了该最大值，因此存在至少一个 $x_j$使得上式成立。此时，这个 $x_j$恰好也就对应了占用该段 $S$的最大值。

将 $\mathcal C_S$视作所有 $x_j$的集合，其中 $j=1,\cdots,K$。那么， $\mathcal C_S$满足上述条件。

向 $\mathcal C_S$中的所有维度增加满足 $h(x)\leq\mathbf u(S)$条件的点 $x$都不会改面 $\mathbf u$，因此也不会改变 $f$。因此，将所有这样的点集合进 $\mathcal N_S$就可以得到 $\mathcal T_S$。

得证。