深度模型（三）：Capsule

胶囊网络

胶囊与传统神经元比较：

	胶囊	传统神经元
输入类型	向量 $\mathbf{u}_i,i\in[1,m]$， $m$表示底层胶囊数量	标量 $x_i,i\in[1,m]$，m表示底层神经元数量
仿射变换	$\mathbf{\widehat u}_{j\lvert i}=\mathbf{W}_{ij}\mathbf{u}_i$	不支持
加权求和	$\mathbf{s}_j=\sum_{i=1}^mc_{ij}\mathbf{\widehat u}_{j\lvert i}$	$a_j=\sum_{i=1}^mw_ix_i+b$
激活函数	$\mathbf{v}_j=\frac{\lvert\lvert\mathbf{s}_j\rvert\rvert^2}{1+\lvert\lvert\mathbf{s}_j\rvert\rvert^2}\frac{\mathbf{s}_j}{\lvert\lvert\mathbf{s}_j\rvert\rvert}$	$h_j=sigmoid(a_j)$
输出	向量 $\mathbf{v}_j$	标量 $h_j$
训练算法	动态路由	梯度下降

动态路由算法

原论文中对动态路由算法的描述如下:

• 算法的输入为输入网络层 $l$以及它的所有输出 $\mathbf{\widehat u}_{j\lvert i}$，以及算法迭代次数 $r$。
• 第2行，初始化参数 $b_{ij}=0$
• 第3，5，6行，前向计算胶囊输出 $\mathbf{v}_{j}$。
• 第7行，更新参数 $b_{ij}\leftarrow b_{ij}+\mathbf{\widehat u}_{j\lvert i}\cdot \mathbf{v}_j$
• 迭代 $r$次以后，算法完成