One Sketch to Rule Them All: Rethinking Network Flow Monitoring with UnivMon阅读笔记

$D(m, n)$是一个长度为 $m$, 包含 $n$个不同元素的信息流 (stream). 假设这些元素分别为 $[1, 2, \cdots, n]$, $f_i$是元素在信息流中 $i$的频数. 假设 $g()$是任意一个函数, 则我们将 $\sum_{i=1}^ng(f_i)$称为频数向量的 $g-sum$.

如果 $g()$是单调函数并且 $g(f_i)\le O(f_i^2)$, 则用于估计 $G-sum$的具有多重对数型空间复杂度的信息流算法(streaming algorithm)是存在的.

$Stream-PolyLog$是所有存在对应的多重对数型空间复杂度的信息流算法的 $G-sum$的集合.

对于元素 $i \in [1, 2, \cdots, n]$, 如果 $g(f_i) > \gamma\sum_jg(f_j)$, 其中 $0 < \gamma < 1$, 则我们称 $i$为一个g-重型元素 (g-heavy element 或 g-heavy hitter). $G-core$是所有g-重型元素的集合.

已有文献证明, 对于元素 $[1, 2, \cdots, n]$, 它的频率向量是 $[f_1, f_2, \cdots, f_n]$, 如果某个元素是频率向量的L2范数的重型元素, 则它也是这个频率向量的g-重型元素.

UnivMon包括两部分, 即在线测量部件和离线估计部件. 在线测量部件的工作流程如算法1所示. 其工作流程可具体描述如下.信息流 $D(m, n) = \{a_1, a_2, \cdots, a_m\}$中共有 $n$个不同的元素. 令 $d=log_2 n$. 我们建立 $d+1$个梗概. 我们将这些梗概分别记为 $S_0, S_1, \cdots, S_d$. 此外, 梗概 $S_1, S_2, \cdots, S_d$分别对应于哈希函数 $h_1, h_2, \cdots, h_d$, 且 $h_k()~(k = 1, 2, \cdots, n)$可以将一个元素随机地映射到0或者1. 当元素 $a_i$到达的时候, 我们将其插入 $S_0$中, 并且在其上查找L2-重型元素, 并将找到的重型元素插入 $Q_0$中. 之后, 对于 $S_i~(i = 1, 2, \cdots, d)$, 我们依次进行如下操作: 如果 $h_1(a_i)\cdot h_2(a_i) \cdots h_i(a_i) = 1$, 则我们将 $a_i$插入梗概 $S_i$中, 并且在 $S_i$上查找L2重型元素, 之后将找到的重型元素存入 $Q_i$中.

以上过程处理完成以后, 我们就得到了 $d+1$个序列 $Q_0, Q_1, \cdots, Q_d$, 分别用于从数据平面的梗概 $S_0, S_1, \cdots, S_d$从提取出来的L2重型元素. 之后我们使用算法2来获取对 $G-sum$的估计, 即对 $\sum_0^n g(f_i)$的估计. 在算法2中, $w_j(i)$是 $Q_j$中的第 $i$个哈希桶中的元素的计数值.

这篇文章的主要逻辑就是, 如果我们的目标是求 $G-Sum=\sum_{i=1}^ng(f_i)$, 其中 $g(n)$的复杂度是 $O(n^2)$, 那么我们可以先使用重型元素(heavy hitters)检测的方法求出L2范数的重型元素, 之后再用算法2所述的方法来精确地恢复出 $G-Sum$. 这里涉及到两个问题. 首先, 如果我们要求 $\sum_{i=1}^ng(f_i)$, 其中 $g(f_i)$的复杂度是 $O(f_i^2)$, 那么我们可以直接求 $f_i^2$意义上的重型元素, 因为 $f_i^2$意义上的重型元素也是 $g(f_i)$意义上的重型元素. 其次, 求 $\sum_{i=1}^ng(f_i)$可以转化成为求重型元素的g()函数值之和. 如算法而所示, 我们有 $log(n) + 1$个序列 $Q_0, \cdots, Q_{log(n)}$. 其中, $Q_i$对应于对输入信息流进行 $\frac{1}{2^i}$采样之后得到的 $f_i^2$意义上的重型元素. 之后我们采用算法2的方法对这些元素进行处理, 最后可以几乎无损地恢复 $\sum_{i=1}^ng(f_i)$的值. 算法2的具体原理可以参考此处.