文章贡献
事件数据的处理方法中，批量处理事件数据，将其转换为中间输入表示的方法取得了较大的进展，但是该方法没有利用事件数据的异步性和稀疏性。
本文针对事件数据，提出了一个通用的基于事件的处理框架，结合了低延迟方法和高精度批处理方法的优点。允许神经网络利用输入流和相关表示的异步和稀疏特性，从而大大减少计算量。该框架提供了几个理想特性：(1)对事件表示、神经网络结构和任务不可知；(2)不需要对优化和训练过程进行任何更改；(3)模拟了事件的时空稀疏性。
1. Method
介绍了展示了如何在经典的卷积架构中利用事件数据的时空稀疏性。
1.1 事件数据介绍
事件相机的像素可以相应信号对数亮度的变化，对于像素uk(xk,yk)和时间tk，当该像素处最后一个事件的亮度增量达到了阈值(+C或-C)，事件就会触发：
pk表示亮度变化的极性。在一段时间间隔内，事件相机可以以微妙的分辨率产生一系列事件：
传统方法可以将这些事件转换为类似于图像的表示H，保留了数据的空间稀疏性(事件主要在物体边缘相应)，但丢失了其事件方面的稀疏性，该方法属于同步数据处理方法。本文提出的框架中，通过关注新事件到来时，类似图像表示H的变化来恢复数据的时间稀疏性：
上述方程可以用于任意的事件表示，使其方法与一般的输入表示兼容。本文为了提高效率，将研究重点放在稀疏递归表示方面(Sparse recurve representations,SRR)。SRR的特性为：随着每个事件稀疏地更新，因此在图像表示H内仅有几个位置ui’存在增量△i©。有许多方法满足上述标准，包括事件直方图、事件队列和时间图像，这些方法中每个新事件只需要更新几个像素
1.2 利用事件信号的稀疏性
事件相机主要响应场景中的边缘，因此事件表示具有稀疏性。Submaniflod Sparse Convolutions（SCC），可以利用数据中的稀疏性来减少计算量。与常规卷积相比，SCC只在具有非零特征向量的位点计算卷积。忽略卷积接收区中为0的输入。这些具有非零特征向量的位点被称为活跃位点。
如图©所示，SCC只与活跃位点(active sites，非0)作用，得到的用于下一网络层的激活图也是稀疏的；传统卷积得到的激活图是模糊的，降低了图像的空间稀疏性。
稀疏卷积操作可以表述如下：
y_n^t(u,c)表示第n层在事件t处的激活，仅作用在非0像素u上；bn表示偏置；Wn和k为卷积核的参数；σ表示非线性函数，第一层中y_0 ^ t为事件的图像表示H。
作者使用了一种用于储存输入和输出位点的数据结构rulebook(Rt,k)。当i,j均位于激活位点At中，且i-j=k时，(i,j)位于Rt,k中，表示输出j在输入i的接收端。
位点i的激活与k处的权重相乘，并添加到j处的激活。遇到maxpool或跨步卷积等操作会导致特征图的空间分辨率会发生变化，因此rulebook需要重新计算（本文中仅涉及到maxpool）。对于最大池化，接收域中存在一个激活位点，输出就会变活跃，因此maxpool可以增加激活位点的个数。
SSC网络处理空间稀疏数据时仍为同步的，导致了计算方面的冗余，也就是说，对于一个新输入的事件，各层的激活需要重新被计算。文章提出的方法中保持了前一事件中网络的激活(y_n^t)，对每个新的事件，提出了新的更新规则：
应用SRR事件表示，新事件在输入层的位置ui’处更新△i （c）。逐步为每个层构建一个rulebook和接收域。
图中，灰色表示激活位点，白色表示未激活的位点。如(a）所示，如果激活位点的值改变了（洋红色），更新规则被添加到rulebook（线），按照下述公式更新(从t到t+1)
对于图(b)所示的新的激活点，直接按照上文的稀疏卷积操作，并在各层重复；同样如图©，新的非激活的位点在每层被置0。因此，新的激活位点和非激活位点不会影响rulebook的传播。
对于输入，设置
之后单个事件引起的更新表示如下
2.附录
2.1 Rulebook更新
对于每个网络层，rulebook和接收域分别更新如下：
对于输入层，二者分别被更新为：
各层的rulebook和接收域可以通过再利用上一层的数据计算。可以将接收域分解为边界集fn(frontier sites, 如上图(a)中的洋红色位点)和访问状态集Fn(visited state set, 如上图(a)中的绿色位点)。在网络各层，接收域为fn和Fn的并集，即
对了在每一层对rulebook和接收域快速更新，我们只考虑输入frontier sites而增加的规则。rulebook和接收域都可以按照这个思路更新。
2.2 同步和异步更新的等价性
对于上文中提到的稀疏卷积计算公式，重新按照下式表述：
对于输入层的变化，这些变化发生在接收域存在下述变化的位点上：
位点包含三类：处于活跃并保持活跃的位点；逐渐变为不活跃的位点；逐渐变为活跃的位点，对于t+1的卷积运算表示如下：
上式中，增量为△0(u,c)，仅当输入的位点改变时才会产生。在t+1时刻rulebook根据新激活的位点uj和新的未激活的位点进行改变：
对于处于活跃并保持活跃的位点，卷积运算可以扩展为：
由于变成不活跃的位点遵循下述事实，即：
对于新的变活跃的位点，有：
扩展的卷积运算可以简化为
上式中，△0（i,c’）为非零的。最终得到的更新规则为：
第一层的接收域刚好为输入(第0层)的输出。网络后续的层的更新按照上述形式迭代。
网络更新代码表示如下：
