higher-order organization of complex networks摘要

  网络中，高阶链接模式是控制和调节复杂系统的基本结构，大部分高阶结构是指一个小的子图，这种小的子图是复杂系统的建筑块。例如，正反馈回路是调控网络的关键要素，三元组是社交网络的关键，双向开三角结构是大脑hub节点的关键，开三角结构是航空网络的关键模式。这里介绍高阶结构，并提出一种聚类框架。
  给定一个网络模块$M$，寻找一种聚类$S$以满足两种目标。首先，节点应参与尽量多的模块$M$，其次集合$S$应避免破坏模块$M$。即，给定模块$M$，高阶聚类方法的目标是最小
$${\varphi }_M(S)=cu{t}_M(S,\overline{S})/min[vo{l}_M(S),vo{l}_M(\overline{S})]\text{\hspace{1em}(1)}$$
$cu{t}_M(S,\overline{S})$是被分割开来的$M$的个数，$vo{l}_M(S)$是$S$中$M$的节点数。算法借鉴谱聚类的方法，算法流程是
  1.给定一个网络和一种模块$M$，算出矩阵$W_M$，其中元素$(i,j)$表示节点$i,j$共现于$M$中的次数。
  2.计算由$W_M$产生的拉普拉斯谱排序$\sigma$。
  3.找到$\sigma$排序的前$r$个组成的集合作为 S r = { σ 1 , … , σ r } S_r=\{\sigma_1,\dots,\sigma_r\} Sr​={ σ1​,…,σr​}，依据是$S:=argmi{n}_r{\varphi }_M(S_r)$。
  我们的方法统一了模块分析和网络聚类这两个基础方向，揭示了组织结构和模块。之前的分析没有给出最差情况下的聚类保证，以及随网络规模增加而导致的复杂度，补充材料里的理论结果说明了超图聚类方法对于特殊的有向图是更加通用的。
  考虑无向图$G=(V,E)$，$|V|=n$，进一步假设没有独立点，$W$记为图的权重，对角矩阵$D$记为$D_{ii}={\sum }_{j=1}^n{W}_{ij}$，拉普拉斯矩阵为$L=D-W$。对于集合$S$，则${\varphi }^{(G)}(S)$为
$${\varphi }^{(G)}(S)=cu{t}^{(G)}(S,\overline{S})/min(vo{l}^{(G)}(S),vo{l}^{(G)}(\overline{S}))\text{\hspace{1em}(3)}$$
$$cu{t}^{(G)}(S,\overline{S})=\sum _{i\in S,j\in \overline{S}}{W}_{ij}\text{\hspace{1em}(4)}$$
$$vo{l}^{(G)}(S)=\sum _{i\in S}{D}_{ii}\text{\hspace{1em}(5)}$$
$$cu{t}^{(G)}(S,\overline{S})=weightedsumofedgesthatarecut\text{\hspace{1em}(6)}$$
$$vo{l}^{(G)}(S)=weightednumberofedgeendpointsinS\text{\hspace{1em}(7)}$$
$x$表示集合$S$的向量，$x_i=1$表示节点$i$在$S$中，$x_i=0$表示节点$i$在$\overline{S}$中，若边$(i,j)$被分开，则$(x_i-x_j{)}^2=1$，反之$(x_i-x_j{)}^2=0$，于是
$$x^{T}Lx=cu{t}^{(G)}(S,\overline{S})=\sum _{(i,j)\in E}{w}_{ij}(x_i-x_j{)}^2\text{\hspace{1em}(9)}$$
  在这里定义$(B,\mathcal{A})$，其中$B$是一个$k\times k$的二值矩阵，$\mathcal{A}$是一个节点集合，$B$编码连边模式，$\mathcal{A}$表示模块的子集，在很多时候$\mathcal{A}表示节点的整个集合$。$set(\cdot )$将有序元组变成无序元组， s e t ( ( v 1 , v 2 , … , v k ) ) = { v 1 , v 2 , … , v k } set((v_1,v_2,\dots,v_k))=\{v_1,v_2,\dots,v_k\} set((v1​,v2​,…,vk​))={ v1​,v2​,…,vk​}，
(10) M ( B , A ) = { ( s e t ( v ) , s e t ( χ A ( v ) ) ) ∣ v ∈ V k , v 1 , … , v k } M(B,\mathcal{A})=\{(set(v),set(\chi_\mathcal{A}(v)))|v\in V^k,v_1,\dots,v_k\}\tag{10} M(B,A)={ (set(v),set(χA​(v)))∣v∈Vk,v1​,…,vk​}(10)
若${\chi }_{\mathcal{A}}(v)=v$，则为simple motifs，否则为anchored motifs。
公式(10)可以重新写为
$$cu{t}_M^{(G)}(S,\overline{S})=\sum _{(v,{\chi }_A(v))\in M}1(\exists i,j\in {\chi }_{\mathcal{A}}(v)|i\in S,j\in \overline{S})\text{\hspace{1em}(17)}$$
$$vo{l}_M^{(G)}(S)=\sum _{(v,{\chi }_{\mathcal{A}})\in M}\sum _{i\in {\chi }_{\mathcal{A}}(v)}1(i\in S)\text{\hspace{1em}(18)}$$
(20) ( W M ) i j = ∑ ( v , χ A ) ∈ M 1 ( { i , j } ) ⊂ χ A ( v ) ) (W_M)_{ij}=\sum_{(v,\chi_\mathcal{A})\in M}1(\{i,j\})\subset\chi_\mathcal{A}(v))\tag{20} (WM​)ij​=(v,χA​)∈M∑​1({ i,j})⊂χA​(v))(20)
$(D_M{)}_{ii}={\sum }_{j=1}^n(W_M{)}_{ij}$，$L_M=D_M-W_M$，最后${\mathcal{L}}_M=D_M^{-1/2}{L}_M{D}_M^{-1/2}=I-D_M^{-1/2}{W}_M{D}_M^{-1/2}$，使用特征向量${\mathcal{L}}_M$进行分类。


引理1.令$G=(V,E)$为一个无权重有向图，$G_M$是基于模块的有权重图，$|\mathcal{A}|\ge 2$则对于任意$S\subset V$，有
$$vo{l}_M^{(G)}(S)=\frac{1}{|\mathcal{A}|-1}vo{l}^{(G_M)}(S)$$
引理2.令 x i , x j , x k ∈ { − 1 , 1 } x_i,x_j,x_k\in\{-1,1\} xi​,xj​,xk​∈{ −1,1}，则
$$4\cdot 1(x_i,x_j{x}_{k}notallthesame)=x_i^2+x_j^2+x_k^2-x_i{x}_j-x_j{x}_k-x_k{x}_i$$
引理3.令 z ∈ { 0 , 1 } n z\in\{0,1\}^n z∈{ 0,1}n，若$z_i=1$则$x_i=1$，若$z_i=1$则$x_i=-1$，则对于$L=D-W$，有$4z^{T}Lz=x^{T}Lx$。
引理4.令$G=(V,E)$有向无权重图，$G_M$是基于$|\mathcal{A}|=3$的模块的有权重图，对于$S\subset V$，有
$$cu{t}_M^{(G)}(S,\overline{S})=\frac{1}{2}cu{t}^{(G_M)}(S,\overline{S})$$
定理5.令$G=(V,E)$有向无权重图，$W_M$有权重邻接矩阵，且模块$|\mathcal{A}|=3$，则对于$S\subset V$，有
$${\varphi }_M^{(G)}(S)={\varphi }^{(G_M)}(S)$$
定理6.假设使用算法1找到较好的集合$S$，令${\varphi }_{\ast }=mi{n}_{S^{\prime }}{\varphi }_M^{(G)}(S^{\prime })$为最优集合，则
1.${\varphi }_M^{(G)}\le 4\sqrt{{\varphi }^{\ast }}and$
2.${\varphi }^{\ast }\ge {\lambda }_2/2$
引理7.令 x i , x j x k , x l ∈ { − 1 , 1 } x_i,x_jx_k,x_l\in\{-1,1\} xi​,xj​xk​,xl​∈{ −1,1}，则有
$$8\cdot 1(x_i,x_j,x_k,x_{l}notallthesame)=(7-x_i{x}_j-x_i{x}_k-x_i{x}_l-x_j{x}_k-x_j{x}_l-x_k{x}_l-x_i{x}_j{x}_k{x}_l)\text{\hspace{1em}(21)}$$
引理8.令$G=(V,E)$有向无权重图，$G_M$基于$|\mathcal{A}|=4$模块有权重图，则对于$S\subset V$，有
c u t M ( G ) ( S , S ‾ ) = 1 3 c u t ( G M ) ( S , S ‾ ) − ∑ ( v , { i , j , k , l } ∈ M ) 1 3 ⋅ 1 ( e x a c t l y   t w o   o f   i , j , k , l   i n   S ) cut^{(G)}_M(S,\overline{S})=\frac{1}{3}cut^{(G_M)}(S,\overline{S})-\sum_{(v,\{i,j,k,l\}\in M)}\frac{1}{3}\cdot1(exactly\ two\ of\ i,j,k,l\ in\ S) cutM(G)​(S,S)=31​cut(GM​)(S,S)−(v,{ i,j,k,l}∈M)∑​31​⋅1(exactly two of i,j,k,l in S)
定理9.令$G=(V,E)$有向无权重图，$W_M$基于$|\mathcal{A}|=4$模块邻接矩阵，则对于$S\subset V$，有
ϕ M ( G ) ( S ) = ϕ ( G M ) ( S ) − ∑ ( v , { i , j , k , l } ) ∈ M 1 ( e x a c t l y   t w o   o f   i , j , k , l   i n   S ) v o l ( G M ) ( S ) \phi^{(G)}_M(S)=\phi^{(G_M)}(S)-\frac{\sum_{(v,\{i,j,k,l\})\in M}1(exactly\ two\ of\ i,j,k,l\ in\ S)}{vol^{(G_M)}(S)} ϕM(G)​(S)=ϕ(GM​)(S)−vol(GM​)(S)∑(v,{ i,j,k,l})∈M​1(exactly two of i,j,k,l in S)​
Matlab代码

% function [S,Sbar,conductances]=MotifSpectralPartitionM6(A)
% Spectral partitioning for motif M_6
B = spones(A & A');%bidirectional links
U = A - B ; %unidirectional links
% Form motif adjacency matrix for motif M_6.
% For different motifs , replace this line with another matrix for mulation.
W = (B * U') .* U' + (U * B) .* U + (U' * U) .* B;
% Compute eigen vector of motif normalized Laplacian
Dsqrt = full(sum(W,2));
Dsqrt(Dsqrt ~= 0) = 1 ./ sqrt(Dsqrt(Dsqrt ~= 0));
[I , J , V] = find(W);
Ln = sparse(I , J , -V .* (Dsqrt(I) .* Dsqrt(J)) , size(A, 1) , size(A, 2));
[Z , lambdas] = eigs(Ln , 2 , 'sa');
% Matlab's eigs is sometimes out of order
[~ , eig_order] = sort(diag(lambdas));
% y = Dsqrt .* Z(: , eig_order(end));
y = Z(: , eig_order(end));
% Linear time sweep procedure
[~ , order] = sort(y);
C = W(order , order);
C_sums = full(sum(C , 2));
volumes = cumsum(C_sums);
volumes_other = full(sum(sum(W))) * ones(length(order) , 1) - volumes;
conductances = cumsum (C_sums - 2 * sum(tril(C) , 2)) ./ min (volumes , volumes_other);
[~ , split] = min(conductances);
S = order(1 : split);
Sbar = order((split + 1) : end);

% function [S,Sbar,conductances]=MotifSpectralPartitionM4(A)
% Spectral partitioning for motif M_4
W=(A*A).*A;
% Compute eigen vector of motif normalized Laplacian
Dsqrt = full(sum(W,2));
Dsqrt(Dsqrt ~= 0) = 1 ./ sqrt(Dsqrt(Dsqrt ~= 0));
[I , J , V] = find(W);
Ln = sparse(I , J , -V .* (Dsqrt(I) .* Dsqrt(J)) , size(A, 1) , size(A, 2));
[Z , lambdas] = eigs(Ln , 2 , 'sa');
% Matlab's eigs is sometimes out of order
[~ , eig_order] = sort(diag(lambdas));
y = Dsqrt .* Z(: , eig_order(end));
% Linear time sweep procedure
[~ , order] = sort(y);
C = W(order , order);
C_sums = full(sum(C , 2));
volumes = cumsum(C_sums);
volumes_other = full(sum(sum(W))) * ones(length(order) , 1) - volumes;
conductances = cumsum (C_sums - 2 * sum(tril(C) , 2)) ./ min (volumes , volumes_other);
[~ , split] = min(conductances);
S = order(1 : split);
Sbar = order((split + 1) : end);