关于卷积各种等变性的数学描述

本文是论文General E(2)-Equivariant Steerable CNNs的知识补充，由于其中涉及了很多数学相关的知识，所以特此说明。

齐次空间与齐次坐标 Homogeneous Sapce and Homogeneous Coordination

$\bullet$齐次坐标 Homogeneous Coordination
\qquad

齐次坐标本质上是4D向量$(x,y,z,w)$， 在$w=1$处的三维空间定义为标准的3D空间，任何齐次坐标转化到标准3D空间坐标点为$(\frac{x}{w},\frac{y}{w},\frac{z}{w})$，如果$w$为0时$(x,y,z,0)$表示的是标准3D空间的方向$(x,y,z)$

\qquad

4D向量有4个分量，前3个是标准的$x，y和z$分量，第4个是$w$，有时称作齐次坐标

\qquad

想象在3D中$w=1$处的标准2D平面，实际的2D点$(x,y)$用齐次坐标表示为$(x,y,1)$，对于那些不在$w=1$平面上的点，则将它们投影到$w=1$平面上。所以齐次坐标$(x, y, w) $映射的实际2D点为$(x/w, y/w)$。

从图片中可以看到$x和y$除以$w$后，就是在平面上的投影坐标

给定一个2D点$(x,y)$，齐次空间中有无数多个点与之对应。所有点的形式都为$(kx,ky,k)$，$k\ne 0$

这些点构成一条穿过齐次原点的直线。

当$w=0$时，除法未定义，因此不存在实际的2D点。

然而，可以将2D齐次点$(x,y,0)$解释为"位于无穷远的点"，它描述了一个方向而不是一个位置。

标准3D向量对应的4D齐次坐标中的向量表示为：

$$\left[\begin{array}{ccc}{m}_{11}& m_{12}& m_{13}\\ m_{21}& m_{22}& m_{23}\\ m_{31}& m_{32}& m_{33}\end{array}\right]\Rightarrow \left[\begin{array}{cccc}{m}_{11}& m_{12}& m_{13}& 0\\ m_{21}& m_{22}& m_{23}& 0\\ m_{31}& m_{32}& m_{33}& 0\\ 0& 0& 0& 1\end{array}\right]$$

任意一个形如$[x,y,z,1]$的向量乘以上面形式的矩阵，其结果和标准的3x3情况相同，只是结果是用$w=1$的4D向量表示的：
$$\left[\begin{array}{ccc}x& y& z\end{array}\right]\left[\begin{array}{ccc}{m}_{11}& m_{12}& m_{13}\\ m_{21}& m_{22}& m_{23}\\ m_{31}& m_{32}& m_{33}\end{array}\right]=\left[\begin{array}{ccc}x{m}_{11}+y{m}_{21}+z{m}_{31}& x{m}_{12}+y{m}_{22}+z{m}_{32}& x{m}_{13}+y{m}_{23}+z{m}_{33}\end{array}\right]$$

$$\left[\begin{array}{cccc}x& y& z& 1\end{array}\right]\left[\begin{array}{cccc}{m}_{11}& m_{12}& m_{13}& 0\\ m_{21}& m_{22}& m_{23}& 0\\ m_{31}& m_{32}& m_{33}& 0\\ 0& 0& 0& 1\end{array}\right]=\left[\begin{array}{cccc}x{m}_{11}+y{m}_{21}+z{m}_{31}& x{m}_{12}+y{m}_{22}+z{m}_{32}& x{m}_{13}+y{m}_{23}+z{m}_{33}& 1\end{array}\right]$$

这里是有趣的部分，在4D中，仍然可以用矩阵乘法表达平移，这在3D中是不可能的
$$\left[\begin{array}{cccc}x& y& z& 1\end{array}\right]\left[\begin{array}{cccc}1& 0& 0& 0\\ 0& 1& 0& 0\\ 0& 0& 1& 0\\ \Delta x& \Delta y& \Delta z& 1\end{array}\right]=\left[\begin{array}{cccc}x+\Delta x& y+\Delta y& z+\Delta z& 1\end{array}\right]$$
Project Geometry Algebra

空间中向量$e_1、e_2、e_3\to G_3或G_{3,0,0}$

空间中$e_0、e_1、e_2、e_3\to G_3或者G_{3,0,1}$

其中

• $e_i\cdot e_i=1（当i\ne 0时）$ 单位向量积
  
• $e_i\cdot e_i=0（当i=0时）$
  

3代表：同向基做内积结果为1的基数量为3,有3个基向量构成的空间

0代表：同向基做内积结果为-1的基数量为0

1代表：同向基做内积结果为0的基的数量为1

$e_0$：代表三维空间中的原点，所以内积才能为0

4D空间中表示3D点的方法：

• 空间中一个点$(x,y,z)$构成$p=e_0+x{e}_1+y{e}_2+z{e}_3$对应上了上面的4D空间中的平移
• $p^{\prime }=\alpha p=\alpha e_0+\alpha x{e}_1+\alpha y{e}_2+\alpha ze3$
  

$$即可以表达为：p^{\prime }=\left[\begin{array}{c}x\\ y\\ z\\ 1\end{array}\right]\iff p=\left[\begin{array}{c}\alpha x\\ \alpha y\\ \alpha z\\ \alpha \end{array}\right]$$

\qquad

如何旋转加平移？

变换的顺序是非常重要的。因为我们使用的是行向量，变换的顺序必须和矩阵乘法的顺序相吻合（从左到右），先旋转后平移。
旋转矩阵R

$$R=\left[\begin{array}{cccc}{r}_{11}& r_{12}& r_{13}& 0\\ r_{21}& r_{22}& r_{23}& 0\\ r_{31}& r_{32}& r_{33}& 0\\ 0& 0& 0& 1\end{array}\right]$$
平移矩阵T
$$T=\left[\begin{array}{cccc}1& 0& 0& 0\\ 0& 1& 0& 0\\ 0& 0& 1& 0\\ \Delta x& \Delta y& \Delta z& 1\end{array}\right]$$
将向量先旋转再平移，得到新的向量$v^{\prime }$，且记变换矩阵$M=R\times T$
$$M=T\times T=\left[\begin{array}{cccc}{r}_{11}& r_{12}& r_{13}& 0\\ r_{21}& r_{22}& r_{23}& 0\\ r_{31}& r_{32}& r_{33}& 0\\ 0& 0& 0& 1\end{array}\right]\times \left[\begin{array}{cccc}1& 0& 0& 0\\ 0& 1& 0& 0\\ 0& 0& 1& 0\\ \Delta x& \Delta y& \Delta z& 1\end{array}\right]=\left[\begin{array}{cccc}{r}_{11}& r_{12}& r_{13}& 0\\ r_{21}& r_{22}& r_{23}& 0\\ r_{31}& r_{32}& r_{33}& 0\\ \Delta x& \Delta y& \Delta z& 1\end{array}\right]$$
化简后为：
$$M=\left[\begin{array}{cc}R& 0\\ t& 1\end{array}\right]$$
得到一般形式为：
$$\left[\begin{array}{cccc}x& y& z& 0\end{array}\right]=\left[\begin{array}{cccc}{r}_{11}& r_{12}& r_{13}& 0\\ r_{21}& r_{22}& r_{23}& 0\\ r_{31}& r_{32}& r_{33}& 0\\ \Delta x& \Delta y& \Delta z& 1\end{array}\right]=\left[\begin{array}{cccc}x{r}_{11}+y{r}_{21}+z{r}_{31}& x{r}_{12}+y{r}_{22}+z{r}_{32}& x{r}_{13}+y{r}_{23}+z{r}_{33}& 0\end{array}\right]$$

\qquad

规范等变 Gauge Equivariant

\qquad
在深度学习中，通常来说，等变性（equivariance）比不变性（invariance）更重要，因为我们无法根据不变特征判断其空间关系（比如人脸的眼睛、鼻子、嘴巴的空间关系）

• 首先需要给定群等变(group equivarant)

$$\Phi (T_{g}x)=T_g^{{}^{\prime }}\Phi (x)$$
由公式可以看出，就是先Translation在Transform和先Transform再Translation是等效的，所以才叫群等变。

• 对于一个对象来说，对称性指的是，在一次变换前后，对象不变。

\quad 如二维欧式空间的图像采样像素矩阵${\mathbb{Z}}^2$，翻转后得到：

$$-{\mathbb{Z}}^2=\{(-n,-m)|(n,m)\in {\mathbb{Z}}^2\}={\mathbb{Z}}^2$$

• 有以下性质的变换的集合被称为对称群（symmetry group）：

$\circ$ 如果有两个对称变换（symmetry transformations）$g和h$，将他们组合起来得到的结果 $gh$也是一个对称变换。

$\circ$ 逆变换$g^{-1}$也是一个对称变换，即经过$g^{-1}g$后，恒等于原图。

\qquad

• Group $p4$和$p4m$

Group $p4$(Translation and Rotation by $90°$) 旋转$90°$再平移

图上每个r就是旋转一个90°

\qquad
$$\begin{gathered} g(r,u,v)=\left[\begin{array}{ccc}\cos (\frac{\pi r}{2})& -\sin (\frac{\pi r}{2})& u\\ \sin (\frac{\pi r}{2})& \cos (\frac{\pi r}{2})& v\\ 0& 0& 1\end{array}\right] \\ gx\backsimeq \left[\begin{array}{ccc}\cos (\frac{\pi r}{2})& -\sin (\frac{\pi r}{2})& u\\ \sin (\frac{\pi r}{2})& \cos (\frac{\pi r}{2})& v\\ 0& 0& 1\end{array}\right]\left[\begin{array}{c}{u}^{\prime }\\ v^{\prime }\\ 1\end{array}\right] \end{gathered}$$
$g$是上面Group Equivariant的变换$T_g$，由于是行向量，旋转矩阵在平移矩阵前面

\qquad

\qquad

• Group $p4m$平移、镜像$m$次、旋转$90°$
  

\qquad
$$g(m,r,u,v)=\left[\begin{array}{ccc}(-1{)}^m\cos (\frac{\pi r}{2})& (-1{)}^m\sin (\frac{\pi r}{2})& u\\ \sin (\frac{\pi r}{2})& \cos (\frac{\pi r}{2})& v\\ 0& 0& 1\end{array}\right]$$
\qquad

\qquad

Functions on Group群上函数

\qquad

在CNN上，原图像${\mathbb{Z}}^2$经过backbone得到K通道的Feature-map，其函数通常定义在一个有界域上(图形-矩形域)

\qquad
$$f:{\mathbb{Z}}^2\to {\mathbb{R}}^K$$
每一个像素坐标$(p,q)\in {\mathbb{Z}}^2$
对应函数f返回特征图上的一个K维特征向量$f(p,q)$

\qquad

定义一种在特征图上的变化为$g$：

\qquad

$\circ [L_{g}f{]}_{(x)}=[f\circ g^{-1}{]}_{(x)}=f(g_x^{-1})$

\qquad

$▶$$L_g$表示对特征图进行$g$变换

$▶$ 这个公式的意思就是：要得到进行$g$变换后的特征图$L_{g}f$上$x$位置处的值，我们需要到原特征图$f$上的$g_{-1}x$位置上找值。

$▶$ 根据之前的定义，$L_g$还需要满足$L_g{L}_h=L_{gh\circ }$

如果变换$g$表示的是图像的平移(translation) $t=(u,v)\in {\mathbb{Z}}^2$，那么$g_x^{-1}$就等于$x-t$

\qquad

CNN上的等变性

\qquad

在CNN的每一层$l$上，$f:{\mathbb{Z}}^2\to {\mathbb{R}}^{K^l}$，用$K^{l+1}$个卷积核对特征进行卷积或者互相关：

$▶$ 卷积：

$$[f\ast {\psi }^i](x)=\sum _{y\in {\mathbb{Z}}^2}\sum _{K^l}^{k=1}{f}_k(y){\psi }_k^i(x-y)$$
$▶$ 相关：
$$[f\star {\psi }^i](x)=\sum _{y\in {\mathbb{Z}}^2}\sum _{K^l}^{k=1}{f}_k(y){\psi }_k^i(y-x)$$
默认相关和卷积都是卷积

\qquad

将$t\to y+t$做替换，忽略特征图上最后求和的一步，我们可以证明“相关”对于平移具有等变性

\qquad
$$\begin{array}{cl}[[L_{t}f]\star \psi ](x)& ={\sum }_{y}f(y-t)\psi (y-x)\\ & \\ & ={\sum }_{y}f(y)\psi (y+t-x)\\ & \\ & ={\sum }_{y}f(y)\psi (y-(x-t))\\ & \\ & =[L_t[f\star \psi ]](x)\\ & \end{array}$$
结论：

• correlation is an equivariant map for the translation group“相关”是平移群上的等变映射
• correlation and translation commute“相关”和“卷积”同样具有平移等变性
• 卷积对于平移具有等变性，但是对旋转不具有等变性

\qquad

半直积 Semi-direct Product

\qquad

群的半直积是用两个群生成一个群

• 设$G$和$H$为群，$\theta :H\to Aut(G)$为群同态。定义 $G{⋊}_{\theta }H$ 为 $G$与$H$的笛卡尔积，且配有乘法如下：
  

\qquad
$$(g,h)(g^{\prime },h^{\prime })=g(h{g}^{\prime }{h}^{-1})h{h}^{\prime }=(g{\theta }_h(g^{\prime }),h{h}^{\prime })$$
\qquad

\qquad

• $G$是圆周$\mathbb{T}$上的连续函数构成的交换群，$\mathbb{Z}$的元素$m$在$G$上的共轭用(conjugate group action)由

$$(m^{-1}fm)(e^{it})=f(e^{imt})$$
\quad \quad \quad 给出，那么$G⋊H$的元素就由所有形式如$f\cdot m$的元素构成，并且计算法则为：
\qquad

$$f\cdot m\cdot g\cdot n=(f\cdot m\cdot g\cdot m^{-1})\cdot m\cdot n$$
\qquad
\qquad

• 假如说有某一个群$K$，它同时包含了$G和H$，$G\cap H=0$并且$G$是正规子群(Gauge subgroup，我的理解就是正规等变的子群)，那么$G和H$生成的群就是$G⋊H$
  
  \qquad
  

何为群同态

在群论中，给定两个群$(G,\ast )和(H,\cdot )$，从$(G,\ast )和(H,\cdot )$的群同态是指映射$f:G\to H$使得对于所有G中的元素$u和v$对于下述等式成立：

\qquad

$$h(u\ast v)=h(u)\cdot h(v)$$

\qquad

\qquad

直积，又称笛卡尔积（Cartesian product）

笛卡尔乘积是指在数学中，两个集合X和Y的笛卡尔积（Cartesian product），又称直积，表示为$X\times Y$，第一个对象是$X$的成员而第二个对象是$Y$的所有可能有序对的其中一个成员

• 假设集合 A = { a , b } A=\{a, b\} A={ a,b}，集合 B = { 0 , 1 , 2 } B=\{0, 1, 2\} B={ 0,1,2}，则两个集合的笛卡尔积为$\{(a,0),(a,1),(a,2),(b,0),(b,1),(b,2)\}$。
  
  \qquad
  
• 如果A表示某学校学生的集合，B表示该学校所有课程的集合，则A与B的笛卡尔积表示所有可能的选课情况。
  
  \qquad
  
• A表示所有声母的集合，B表示所有韵母的集合，那么A和B的笛卡尔积就为所有可能的汉字全拼。
  
  \qquad
• 设$A,B$为集合，用$A$中元素为第一元素，$B$中元素为第二元素构成有序对，所有这样的有序对组成的集合叫做$A与B$的笛卡尔积，记作$A\times B$.
  

$$\begin{gathered} A\times B=\{(x,y)|x\in A\wedge y\in B\} \\ 例如，A=a,b,B=0,1,2，则: \\ A\times B=\{(a,0),(a,1),(a,2),(b,0),(b,1),(b,2)\} \\ B\times A=\{(0,a),(0,b),(1,a),(1,b),(2,a),(2,b)\} \end{gathered}$$

\qquad

基本的群表示

• 群的正则表示，用于研究群的整体性质。

设$G$是群，取$\Sigma =G$
$$f:G\to S(G),f(g)a=ga,\forall a\in G$$
也就是说，$f(g)$是群$G$上的置换，将$a$置换为$ga$，按照同态的定义，很容易证明，次映射是同态映射，从而$f$给出$G$的一个置换表示，叫做群$G$的做正则表示，更进一步：
$$g\in Kerf\iff ga=a,\forall a\in G\iff g=1_G$$

• Induced representation群的诱导表示，用于研究群的某一子群的性质。

设$H⩽G$， 取 Σ = { a H ∣ a ∈ G } \Sigma=\{aH|a\in G\} Σ={ aH∣a∈G}，即$\Sigma$ 是$G$对于$H$的全部陪集构成的集合，定义：
$$f_H:G\to S(\Sigma ),f_H(g)(aH)=gaH$$
这是$\Sigma$上的置换，同样地，$f_H$是同态映射，从而$f_H$给出$G$的一个置换表示，叫做群$G$对于子群$H$的左诱导表示，那它是否是单同态呢？我们观察
$$g\in Ker{f}_H\iff gaH=aH,\forall ainG\iff a^{-1}ga\in H,\forall a\in G\iff g\in aH{a}^{-1},\forall a\in G\iff g\in {\cap }_{a\in G}aH{a}^{-1}$$
因此，$Ker{f}_H={\cap }_{a\in G}aH{a}^{-1}$是$H$所有共轭子群的交，因而，$f_H$不是单态。

• Conjugate representation群的共轭表示，用于研究群的某一子集的性质。

设$A$是群$G$的任意子集。取 Σ = { a A a − 1 ∣ a ∈ G } \Sigma = \{aAa^{-1}|a \in G\} Σ={ aAa−1∣a∈G}（即$A$的全部共轭子集）。定义
$$f:G\to S(\Sigma ),f(g)(aA{a}^{-1})=gaA{a}^{-1}{g}^{-1}=(ga)A(ga{)}^{-1}$$
这是一个置换表示，叫做群$G$对于子集$A$的共轭表示，和之前一样：
$$\begin{array}{rclc}g\in Kerf& \iff & gaA{a}^{-1}{g}^{-1}=aA{a}^{-1},& \forall a\in G\\ & \iff & a^{-1}ga\in N_G(A),& \forall a\in G\\ & \iff & g\in a{N}_G(A)a^{-1},& \forall a\in G\end{array}$$
从而$Kerf={\cap }_{a\in G}a{N}_G(A)a^{-1}$，即视为正规化子$N_G(A)$的左右共轭子群的交

\qquad

总结

1. 正则表示用于研究群的整体性质。
   
2. 诱导表示用于研究群的某一子群的性质。
   
3. 共轭表示用于研究群的某一子集的性质。
   

\qquad

\qquad