【论文下饭】Functional Connectivity Prediction With Deep Learning for Graph Transformation

水平有限，有误请指出。

SF-GAN

Functional Connectivity Prediction With Deep Learning for Graph Transformation
时间：2022
引用：0
期刊会议：IEEE Transactions on Neural Network and Learning Systems
代码： https://github.com/netemady/SF-GAN-

省流版

任务

根据SC预测FC。
SC为脑结构网络，FC为脑功能网络，它们都从MRI数据中提取。SC和FC数据都可以看成图。

模型

SF-GAN是GT-GAN[15]的延伸工作。
GT-GAN，类似Pix2Pix = Unet生成器 + 鉴别器。

与Pix2Pix不同的是，

• 重新设计了 Unet生成器中的 卷积和反卷积模块[15]，变为图卷积和图反卷积；鉴别器 使用 BrainNetCNN[1*]。
• 在Unet生成器的瓶颈处（Unet图反卷积开始之前），并入 元特征（受试者相关的特征，如年龄、健康和家族史、精神状态和生活、感官、药物使用）。
• 提出了 Unet图反卷积中元特征的三种稀疏正则化（效果提升并不大）。

（BrainNetCNN[1*]原本用于脑网络的分类任务中。）

对比于其他非深度学习方法、经典深度学习方法，SF-GAN时间复杂度大幅提高，但仍在可接受范围内。

[15] X. Guo, L. Wu, and L. Zhao, “Deep graph translation,” IEEE Trans. Neural Netw. Learn. Syst., early access, Mar. 17, 2022, doi: 10.1109/ TNNLS.2022.3144670.
[1*] Kawahara J, Brown C J, Miller S P, et al. BrainNetCNN: Convolutional neural networks for brain networks; towards predicting neurodevelopment[J]. NeuroImage, 2017, 146: 1038-1049.

数据集

Human Connectome Project(HCP), the 1200 Subject Release, February 2017[27]。

评估标准

• Pearson Correlation Coefficient(PCC)
• Mean Squared Error(MSE)
• Mean Absolute Error(MAE)

其他贡献

• 提出Post hoc（事后分析）的方法，解释 SC中哪些子图 影响 FC中哪些子图。由于测量SC和FC之间的互连性（interconnectivity）是非常困难的，作者通过简化，利用SF-GAN模型将问题转换为社区检测问题。

---

Abstract

背景及定义：
结构连接(Structural connectivity, SC) 与 功能连接(Functional connectivity, FC)，在神经科学中，对于理解生物神经元网络和治疗精神疾病具有重要意义。
SC和FC是脑网络，节点看作脑区。在SC中，边为物理神经纤维；在FC中，边为节点的共激活关系（coactivation）。

存在的问题：
最近，这一主题的研究大多关注 线性模型（linear model）或者是 计算模型（computational modle），这些模型都严重依赖SC与FC之间的映射的启发式和简单假设。而SC和FC的关系实际上是高度非线性和复杂的，并且包含了相当大的随机性，比如，受试者的年龄、健康状况也会显著影响SC-FC的关系。

解决：
为了解决这些挑战，本文提出了SC到FC的生成对抗网络（SF-GAN）框架，用于将SC映射到FC。以及，能够学习随机性的基于图神经网络的生成模型的附加元特征。

具体来说，提出了一种新的基于图的条件生成对抗网络模型，其中 利用边卷积编码SC的图模式为图表示。利用另一个 新的边卷积解码图表示 为 FC。
新设计的稀疏正则化层，可以自动选择影响（impact）FC的特征。它将 受试者画像信息的额外原特征（metafeatures）整合到图表示中。
最后，本文提出了SF-GAN的post hoc（事后）解释器。它可以通过一个新的多级edge-correlation-guided图聚类问题，来识别SC中哪些子图 strongly 影响FC中的哪些子图。

I. INTRODUCTION

SC和FC之间关系的研究是神经科学家目前面临的最关键但最开放的问题之一。学习结构-功能映射将加深我们对大脑结构属性如何影响其功能的理解，从而为解决神经疾病和改善健康状况提供潜在的新解决方案。除了SC，根据[5]和[7]以及[8]中的证据，与研究对象相对应的 人口统计学的 和 行为学的测量 强烈影响大脑连接模式，因此可以通过使用适当的 有用的信息数据 来描绘FC来增强学习映射的过程。

[5] S. Kann, S. Zhang, P. Manza, H.-C. Leung, and C.-S. R. Li, “Hemispheric lateralization of resting-state functional connectivity of the anterior insula: Association with age, gender, and a novelty-seeking trait,” Brain Connect., vol. 6, no. 9, pp. 724–734, 2016.
[7] B. B. Biswal et al., “Toward discovery science of human brain function,” Proc. Nat. Acad. Sci. USA, vol. 107, no. 10, pp. 4734–4739, 2010.
[8] H. C. P. WU-Minn. (2017). 1200 Subjects Data Release Reference Manual. [Online]. Available: https://www.humanconnectome.org

现有的从结构预测FC的方法主要有三种。

• 线性扩散模型（linear diffusion models），拟合SC和FC的相关矩阵之间的线性相关性
• 基于神经元之间的连接，建模神经元活动动力学
• 基于图论知识，分别使用基于谱的方法或线性代数

现有的工作通常侧重于结构到FC之间的映射，以从SC样本推断FC，而忽略了除SC之外的其他因素的可能贡献，这些因素会影响估计的过程。

尽管最近在这一领域开展了大量工作，但它仍处于起步阶段，一些关键挑战尚未解决。其中包括以下内容。
1）结构和功能连接之间的复杂和非线性映射。 SC和FC都是图结构的，因此由于复杂的连接，它们内部的节点之间可能存在依赖关系。此外，目前，支配SC和FC之间映射的真正机制在很大程度上仍然是未知的，并且不能仅基于它们之间的简单线性变换来有效拟合。有几项研究证明了这一点，其中考虑非线性关系的 基于核[13] 和 基于启发式[14] 的方法往往优于基于线性假设的方法。然而，现有的工作通常仍然对非线性类型做出了强烈的假设，从而潜在地限制了结果模型的表现力和灵活性。

2）结构连接和功能连接映射的稳健性。 FC不太可能完全由SC确定，而忽略其中映射潜在随机性的模型可能不够稳健（robust）。[14]中最初提出，在静息状态下，建模为白噪声的固有随机波动（对应于 信道噪声 和 不同来源的生物物理变量）可以刺激神经元的放电率 并通过网络传播，从而确定自发活动的模型。

3）对受试者的环境和本质特征（intrinsic Features）考虑不足。 个体受试者环境（e.g., substance use）和内在特征（e.g., age, demographic, and behavioral measures）等元特征也可能影响FC。然而，现有的方法通常无法充分考虑这些问题[5]。这部分是因为SC是图结构的（graph-structured），而元特征是向量结构的，这在无缝地提取和学习这种异构输入时造成了严重地技术困难。

4）模型可解释性和表达（expressiveness）之间的权衡。 SC和FC之间复杂而未知的映射需要高度表达的模型，但高度复杂的模型通常具有优先的可解释性，并且容易过度拟合。我们需要建立一个模型，这个模型不仅可以适应SC和FC之间的复杂模型，还可以带来透明度，使用户能够从大量历史数据重提取新知识，例如在识别哪些元特征影响FC模型时。此外，识别SC中哪些子图 强烈影响FC中的哪些子图 也是至关重要的。然而，现有的图神经网络解释器 无法解决这种基于子图的解释问题，其中输入和输出图具有不同的拓扑[6]。

为了解决上述挑战，在本文中，提出了一个新得 深度图转换通用框架，皆在学习SC和FC之间的关系。本文提出的SC到FC生成对抗网络（SF-GAN）模型时一种新的 图条件GAN，它对SC进行编码，然后将编码的潜在表示和原特征联合解码为FC。
本文还提出了新得基于子图的图神经网络解释器，它可以自动识别SC中哪些子图影响FC中的哪些子图。

本文贡献总结如下。

• 提出深度图转换框架SF-GAN。 用于将SC转换为FC。
• 设计了一个场景（scenario）来 联合编码（jointly encode）异构输入 SC和元特征。
• 为元特征选择，开发了新的稀疏正则化图反卷积层。 为了识别关键元特征，本文提出了新的图反卷积层，其使用各种正则化项来增强特征权重的稀疏性。这不仅降低了过拟合的风险，而且还自动识别具有影响FC模式的非零权重元特征。
• 为解释SC和FC之间的映射模型，开发了新的 子图 图神经网络解释器。 本文将此问题 公式化为 多级图聚类问题，该问题在于检测SC、FC、in-between SC and FC 中具有强相关性的节点集群。更重要的时，in-between相关性 可以 从【SF-GAN学习的映射（关系）的显著性图】中的 edge-to-edge（E2E）相关性 推导出来。
• 进行了广泛的实验 来验证 提出模型的有效性 与 效率。 在两个真实世界的静息态MRI数据集上实验。

[6] H. Yuan, H. Yu, S. Gui, and S. Ji, “Explainability in graph neural networks: A taxonomic survey,” 2020, arXiv:2012.15445.
[13] S. G. Surampudi, S. Naik, R. B. Surampudi, V. K. Jirsa, A. Sharma, and D. Roy, “Multiple kernel learning model for relating structural and functional connectivity in the brain,” Sci. Rep., vol. 8, no. 1, pp. 1–14, Dec. 2018.
[14] R. F. Galán, “On how network architecture determines the dominant patterns of spontaneous neural activity,” PLoS ONE, vol. 3, no. 5, p. e2148, May 2008.

II. METHOD

A. Problem Formulation

SC定义为无向加权图$G$。$A$为$G$的加权邻接矩阵。$A_{i,j}\in [0,\inf )$。它反映了两个节点之间的连接强度，该强度取决于连接两个脑区的每单位神经纤维的比例，通过 平均的神经纤维长度 归一化（normalized by the average fiber length）。
FC与SC拥有相同的节点数量，记为$G^{\prime }$，加权邻接矩阵为$A^{\prime }$。$A_{i,j}$为 两个脑区之间的 时间序列的 时序相关性，这揭示了它们之间的“共激活”（coactivation）关系。
在神经科学中，建模和理解SC如何决定和影响FC是一个关键问题，这可能对理解精神疾病的潜在突破非常有用。在本文中，目标是根据受试者的SC和其他元特征（如，年龄、健康状况、疾病家族史等）生成受试者的FC。

B. SF-GAN Overall Architecture

SF-GAN是一种新的图条件GAN，它基于输入图（SC）和其他输入特征（元特征）生成输出图（FC）。他包含两个部分，条件FC生成器和条件FC鉴别器。

目标函数：

$$\begin{array}{rl}\underset{\mathcal{F}}{\min }\underset{\mathcal{D}}{\max }\mathcal{L}(\mathcal{F},\mathcal{D})& ={\mathbb{E}}_{G,G^{\prime }}[\log \mathcal{D}(G^{\prime }|G)]\\ & +{\mathbb{E}}_{G,U}=[\log (1-\mathcal{D}(\mathcal{F}(G,M,U)|G))]\\ & +{\lambda }_1{\mathcal{R}}_1(\mathcal{F})+{\lambda }_2{\mathcal{R}}_2(\mathcal{F})\end{array}\text{\hspace{1em}(1)}$$

其中，$\mathcal{F}、\mathcal{D}$为FC条件生成器和FC条件鉴别器。

• 第一项，表示对真实FC进行分类而导致的鉴别器中的损失。
• 第二项，表示在条件生成器F中生成FC而导致的生成器中的损失。
• 第三项和第四项，在生成器的模型参数上 引入了额外的正则化。第三项，${\mathcal{R}}_1(\mathcal{F})$是L1损失，作用是强制稀疏相似性，其由 超参数${\lambda }_1$控制。第四项，是控制反卷积（node-to-edge）中的一项（后文II.D节介绍）。

C. FC Conditional Generator

本文提出的FC条件生成器，使用了 图编码器-解码器框架，其中编码器的输入包括SC和随机噪声。附加的元特征在 信息瓶颈中加入，这解决了两种输入的异构性挑战。

之后，信息瓶颈、图嵌入和元特征被解码回 图 形成FC。Graph skip nets也加入到编码-解码过程中，以映射输入图和目标图之间学习到的潜在关系，但为了简单起见，图1中省略了此部分。具体地来说，解码器的第一个边反卷积层的输出 与 第一个边卷积层输出 并联（concat），并作为第二层反卷积层的输入。以此类推。

由于SC是加权邻接矩阵，因此输入实际上是边而不是节点。这意味着我们需要 边卷积层（edge convolution），而不是通常用于节点属性卷积的图卷积层。具体来说，如图1所示，我们首先利用Kawahara等人提出的E2E卷积层。[16]，它可以聚合所有相邻边的信息，从而学习高阶邻域信息。此外，为了进一步将结果聚合为更高级别的图表示，我们利用边到节点（E2N）卷积层生成图嵌入。

[16] J. Kawahara et al., “BrainNetCNN: Convolutional neural networks for brain networks; towards predicting neurodevelopment,” NeuroImage, vol. 146, pp. 1038–1049, Feb. 2017.

（N2E、E2E反卷积细节具体看原文）
大概意思是，针对设计 Node-to-edge反卷积层，我们既要反卷积encoder输出的 图嵌入，也要 反卷积元特征矩阵。

图嵌入$F\in {\mathbb{R}}^{N\times P}$，元特征矩阵 $\tilde{M}\in {\mathbb{R}}^{N\times K}$，其中$N$表示节点的数量，$P$表示节点嵌入特征维度，$K$表示节点元特征维度。

对于图嵌入$F$，每个节点，我们考虑“入”节点（incoming）与“出”节点（outgoing），这就使得存在两个卷积核${\varphi }_m\in {\mathbb{R}}^{1\times N}$ 与 ${\psi }_m\in {\mathbb{R}}^{N\times 1}$。注意，每个卷积核 每一行、列都 对应 一个权重。
对于元特征$M$，每个节点，我们考虑“入”节点（incoming）与“出”节点（outgoing），这就使得存在两个卷积核$W_m\in {\mathbb{R}}^{N\times K}$ 与 $W^{\prime }\in {\mathbb{R}}^{K\times N}$。注意，每个卷积核 每一个点 对应 一个权重。

D. Regularized Deconvolution for Metafeatures

在模型参数优化过程中，通过正则化项${\mathcal{R}}_2(\mathcal{F})$对 II.C节 中提到的$W、W^{\prime }$施加约束。在本文中，我们逃到了解决SC到FC转换问题所需的几种正则化模式。

1）Setting 1（元特征的相同稀疏模式）： 此项要求，在所有元特征中，只有一小部分是显著影响FC模式的。每个元特征对不同节点的影响相同。
$$\begin{array}{rl}\forall m,k,i\ne j:W_{m,k,j}\equiv W_{m,k,j},& \mathrm{and}|\mathrm{supp}(W_m)|\ll N\times K\\ & \text{(namely}{W}_m\text{is sparse)}\end{array}$$
其中，$\mathrm{supp}(\mathrm{x})$是 输出为零的向量的支持函数。为了达到稀疏模式，我们定义 ${\mathcal{R}}_2(\mathcal{F})={\sum }_m\Vert W_m{\Vert }_1(\forall m,k,i\ne j:W_{m,k,i}\equiv W_{m,k,j})$

2）Setting 2（元特征的独立稀疏模式）： 此项要求，在所有元特征中，只有一小部分是显著影响FC模式的。每个元特征对不同的节点影响不同。此要求与Setting 1类似，只不过没有相等性约束。

3）Setting 3（元特征的组稀疏模式）： Setting 1、2致力于解决极端模式，前者假设元特征必须对所有节点产生相同的影响，而后者假设 元特征对所有节点产生的影响是完全独立的。相反，Setting 3试图在上述两种Setting之间采取中间情况，通过强制执行约束，即如果元特征（不）重要，那么它对所有节点都应该（不）重要，并且重要性的具体强度可以在不同节点之间变化。 这种类型的正则化可实现 可解释性（取绝于每个元特征对生成的FC是否有用）和 表达性（由于不同大脑区域的不同固有功能，保持模型参数灵活性，以处理节点异质性）之间的折衷，其数学形式可以表达为：
$$\begin{array}{rl}& \forall m,k,i\ne j:\\ & \mathrm{supp}(W_{m,k,i})\equiv \mathrm{supp}(W_{m,k,j}),\mathrm{and}|\mathrm{supp}(W_m)|\ll N\times K\\ & \text{(namely}{W}_m\text{is sparse)}\end{array}$$

上面的等式要求，确保 对于相同的特征，$W_m$在所有节点上具有相同的稀疏模式。这可以通过强制图反卷积核上的组稀疏性（如，$l_{2,1}$范数）实现。${\mathcal{R}}_2(\mathcal{F})={\sum }_m\Vert W_m{\Vert }_{2,1}={\sum }_m{\sum }_k\Vert W_{m,k}{\Vert }_2$。

E. FC Conditional Discriminator

SF-GAN的判别器被设计成，接收两个图（一对）作为输入，并判断它们是否相关（related）。具体地，通过将SC与预测FC（pFC）或真实FC（real FC、empirical FC、eFC）并联（concat）来形成输入对。
这里的输入包含图边信息，因此 需要使用到 edge convolution，来生成节点表示。然后将这些嵌入相加，并送如到softmax层以形成最终输出，如图1所示。

F. Subgraph Mapping Discovery Between SC and FC

除了基于本文的SF-GAN框架 进行SC到FC的预测之外，弄清楚SC中的哪些子图 主要影响 FC中哪些子图 也是interesting and important。
例如通过复杂的实验设计，神经科学家研究发现，在没有直接SC的区域之间存在强大的FC权重[18]。在[19]中，研究人员将FC与DTI数据相结合，证明FC在很大程度上反映了潜在的SC。然而，研究领域仍在期待一种自动的方法来快速探测数据并找到具有强相关性的候选结构和功能子图对。

[18] C. J. Honey et al., “Predicting human resting-state functional connectivity from structural connectivity,” Proc. Nat. Acad. Sci. USA, vol. 106, no. 6, pp. 2035–2040, Feb. 2009.
[19] . D. Greicius, K. Supekar, V. Menon, and R. F. Dougherty, “Restingstate functional connectivity reflects structural connectivity in the default mode network,” Cerebral Cortex, vol. 19, no. 1, pp. 72–78, 2009.

为了实现上述目标，本文提出了一种新的 post hoc 解释技术，来解释SC到FC的预测结果。为了发现SC和FC之间的底层映射模式，我们将问题定义为SC和FC之间的子图映射模式发现。这种模式定义为 节点在每个子图内良好地连接（即，内连通性（intraconnectivity）），同时在每对子图之间也具有紧密的连接（即，互连性（interconnectivity））。在数学上，
$$\begin{array}{rl}& \underset{\{(g_n,g_n^{\prime })|g_n\in G,g_n^{\prime }\in G^{\prime }\}}{\min }\sum _{n=1}^{C}f(g_n,g_n^{\prime },A,A^{\prime },Q)\\ & =\sum _{n=1}^C(f_1(g_n,A)+f_1(g_n^{\prime },A^{\prime })+f_2(g_n,g_n^{\prime },Q))\end{array}\text{\hspace{1em}(4)}$$
其中，$g\in G,g^{\prime }\in G^{\prime }$分别是SC和FC的子图，$C$是划分之后子图的数量，$f_1(g_n,A)$评估了子图$g_n$在给定邻接矩阵$A$的情况下的内连通性，$h(g_n,g_n^{\prime },Q)$ 评估了每个子图对$g_n$和$g_n^{\prime }$之间的互连性，$Q\in {\mathbb{R}}^{N\times N\times N\times N}$表示第一个图中的边 和 第二个图中的边 之间的相关性。

现在的问题是，找到SC和FC图中的最佳子图集，以及定义内连通性和互连性的度量。但是，测量SC和FC之间的互连性$Q\in {\mathbb{R}}^{N\times N\times N\times N}$仍然是具有挑战性的，并且，据目前所知，仍然是一个开放性问题。

也就是说，$Q$目前不好求，我们需要改为计算一个近似解。

在这里，我们建议 利用SF-GAN模型来学习和解释从SC到相应FC的映射。具体地，我们通过计算每个输出边$A_{i,j}^{\prime }$（比如说，FC中的边），相对于每个输入边$A_{x,y}$（比如说，SC中的边）的偏导数 来利用梯度信息[22]，如II.A节中所提，如下，
$$Q_{i,j,x,y}=\frac{\partial A_{i,j}^{\prime }}{\partial A_{x,y}}\text{\hspace{1em}(5)}$$
其中，$A_{i,j}^{\prime }$是预测FC图中 节点$i$与节点$j$之间的边，$A_{x,y}$同理为输入SC图中，节点$x$与节点$y$之间的边。显然，对于输出中每条边，计算这些倒数会生成$N\times N$的矩阵。对于预测FC来说，将会形成一个 $N^4$ Tensor。

尽管这个4-D张量 $q$ 将为我们提供SC和FC中每条边之间的对应关系，但直接用于测量SC中的一组节点和FC中的一个节点之间的 互连性 仍然非常模糊。因此，我们建议通过全局平均池化（GAP）执行压缩操作，这将4-D张量 减少为 2-D 矩阵。在使用GAP时，我们在两个方向上执行压缩，一个来自输入，一个来自输出，这将产升SC的一个节点和FC的一个节点之间的平均对应关系。具体地，给定SC图中的节点$i$和FC图中的一个节点$y$，可以通过取连接这两个节点的所有可能路径上的平均值来估计节点$i$和$y$之间的节点级对应权重。
$${\hat{Q}}_{i,y}=\frac{1}{N^2}\sum \sum q_{i,j,x,y}\text{\hspace{1em}(6)}$$

最后，有了$A、A^{\prime }、\hat{Q}\in {\mathbb{R}}^{N\times N}$，我们可以定义超图$\hat{G}$，将上述量组合，如下，
$$\hat{A}=\left[\begin{array}{cc}A& \hat{Q}\\ {\hat{Q}}^T& A^{\prime }\end{array}\right]\text{\hspace{1em}(7)}$$
这里，$\hat{G}=(\hat{V}=V\cup V,\hat{A}=A\cup A^{\prime }\cup \hat{q})$，其中$\hat{A}\in {\mathbb{R}}^{2N\times 2N}$。因此，(4)中的问题（内连通性与互连性）可以转换为，

将近似$Q$带入之前公式。

$$\begin{array}{rl}& \underset{\{(g_n,g_n^{\prime })|g_n\in G,g_n^{\prime }\in G^{\prime }\}}{\min }\sum _{n=1}^{C}f(g_n,g_n^{\prime },A,A^{\prime },Q)\\ & =\underset{\{(g_n,g_n^{\prime })|g_n\in G,g_n^{\prime }\in G^{\prime }\}}{\min }\sum _{n=1}^{C}f(g_n,g_n^{\prime },A,A^{\prime },\hat{Q})\\ & \Rightarrow \underset{\{(g_n\cup g_n^{\prime })\}}{\min }\sum _{i=1}^C{f}_1(g_n\cup g_n^{\prime },\hat{A})\text{[According to (7)]}\end{array}\text{\hspace{1em}(8)}$$

因此，如上所述，$f_1(\cdot )$是度量子图$g_n\cup g_n^{\prime }$连通性得分函数，可以是经典的社区检测目标，如InfoMap[21],[23]。这里，InfoMap优化(8)的目标是 找到 在所有可能的网络分区上 最小化描述长度的最佳分区。因此，给出最短描述长度[24]并对数据进行最大压缩的网络分区，也最好地捕捉了关于网络上动态的社区结构[21]。根据现有工作，我们应用快速随机（fast stochastic）和递归搜索算法[20]来最小化(8)，并找到最佳描述子图映射。

G. Time Complexity Analysis

总时间复杂度 = 生成器 + 鉴别器。

$$\mathcal{O}(t\ast ((L_1+L_2+L_3)\ast N^2{M}_0^2+N^2{M}_0+N^2{M}_{0}R))$$

其中，$N$是节点数量，$M_0$是每个卷积层特征图的数量，$L_1$是生成器中编码器的E2E卷积层数，$L_2$是生成器中解码器的E2E卷积层数，$L_3$是判别器中E2E卷积层数，$R$是最后全连接层的长度，$t$是训练样本的数量。

本文提出的SF-GAN能够提供可拓展的 $\mathcal{O}(N^2)$ SC到FC映射复杂度算法。 这是非常有用的，如果我们需要时候更大数量脑分区的模板。对比于现有的图神经网络生成模型[25][26]，它们只能拓展到小规模图(N=20)，并通常有 $\mathcal{O}(N^3)$或甚至 $\mathcal{O}(N^4)$的计算复杂度。

[25] M. Simonovsky and N. Komodakis, “GraphVAE: Towards generation of small graphs using variational autoencoders,” in Proc. Int. Conf. Artif. Neural Netw. Cham, Switzerland: Springer, 2018, pp. 412–422.
[26] B. Samanta et al., “NEVAE: A deep generative model for molecular graphs,” J. Mach. Learn. Res., vol. 21, no. 114, pp. 1–33, Apr. 2020.

III. EXPERIMENTS

机器配置：

• 40G内存
• 4核intel CPU
• Nvidia RTX-2080 Ti GPU
• 框架：Tensorflow 1.13.1
• 代码：https://github.com/netemady/SF-GAN-

数据分割、超参数调整在附录Appendix-A中（见补充材料）。

A. Datasets

本文中使用的SC和FC数据集从人类连接组项目（HCP）中提取。Specifically, the 1200 Subjects Release, February 2017[27]。

1）数据源： structural、diffusion和functional MRI数据使用HCP pipeline处理[8]。对于diffusion MRI，根据Bayesian Estimation of Diffusion Parameters Obtained using Sampling Techniques，使用FSL软件[28]建模 交叉X纤维（BEDPOSTX）。该算法对白质纤维取向和交叉纤维进行概率束描记建模。从总共823名参与者中采集了静息状态血氧水平依赖性功能性MRI（r-fMRI）时间序列数据，每个参与者进行了四次约15分钟的跑步，包括两天（第1天和第2天）的两次跑步。这些测量是在受试者仰卧和静止、眼睛睁开的情况下收集的，以跟踪在休息状态下发生的大脑生理变化（即，血流和氧气水平的变化），当没有执行明确任务时[29]，[30]。

HCP为每个参与者收集的行为和人口统计数据被用作我们模型的额外输入。 与此相关的是，其发布了一本公共数据字典，其中包含357个与每个受试者相关的特征，其中161个被选为模型的输入。补充材料中提供了输入特征列表。这些特征分为五类：受试者信息（如年龄）、健康和家族史（如身高、体重指数和家族疾病史）、精神病和生活功能（如焦虑和注意力问题评分）、感官（气味识别、听力和疼痛测试等）和物质使用（如甲基苯丙胺和可卡因测试结果）。在训练我们提出的SF-GAN模型时，我们的主要目标是确定与单独使用SC相比，这五个类别中的哪一个对改进预测影响最大。

2）提取SC和FC： 为了构建每个受试者的SC矩阵，我们在FSL运行了Probtrackx，使用Desikan-Killiany脑模板，分为68个脑区。其中的参数设置，根据[32]提供。最后，归一化SC矩阵，具体来说，每个值除以每行之和。

FSL的Probtrackx提取SC，那么SC应该是概率性追踪，并且最后SC的取值范围为$[0,1]$。

从r-fMRI时序数据中提取FC有3步，1）将两次运行的（？）时间序列 并联（concat）起来；2）对于每个ROI，平均所有时间序列，得到single ROI time series；3）通过 使用FSLNets[33]的全相关选项（full correlation option） 计算两个ROI之间的Pearson correlations，得到Dataset 1。或者，和上面的3步类似，但我们不使用Day 2的数据（？），这样我们得到了Dataset 2。

[33] FSL-Scripts. Accessed: Aug. 1, 2020. [Online]. Available:
https://github.com/ahheckel/FSL-scripts/blob/master/rsc/scripts/bin/FSLNets/nets_netmats.m

B. Comparison Methods

在使用SC作为所有模型的输入之前，SC都需要被标准化（normalized）。

1）Deep Graph Spectral Evolution Network(GSEN)[34]。 通过新开发的广义图核的组合来建模 图拓扑演化问题。GSEN被设计用来表示许多复杂的现象，这些现象需要顺序或同时的图核的参与。
2）Connectome Embedding(CE)[35]。 此方法，将SC嵌入到有意义的低维向量空间。然后，使用CE来预测FC。
3）CE-Aligned[36]。 基于CE，此方法通过新颖的 嵌入对齐方法 改进 个体的 结构到FC映射。
4）Graph Diffusion Model[3]。
5）Eigen Decomposition Model[38]。 基于发现 共享特征值 显式相关的特征向量的FC和SC，通过 拉普拉斯谱 建立了结构和FC网络之间的特征关系。
6）Weighted Sum of Matrix Powers[39]。 使用两种功能成像模态，fMRI和MEG（脑电图）。SC和stationary FC之间的映射由矩阵幂的权重和表示的数学函数描述。通过计算每个点的 归一化平方和 获得权重。
7）Spontaneous Neural Activity Model[14]。 着眼于微观层面来描述神经元之间的突触连接，导出了神经动力学的一般数学模型。这个描述 神经元放电率变化 的数学方程 随后可用于 识别自发活动的主导模式与基础网络架构之间的联系。
8）Baseline[15]。 GT-GAN。将生成器最后一层的ReLU函数替换成tanh，使得预测的FC可以存在负值。

每个数据集对应的超参数都需要分别调整。

[34] N. Etemadyrad, Q. Li, and L. Zhao, “Deep graph spectral evolution networks for graph topological evolution,” in Proc.AAAI Conf. Artif Intell., vol. 35, no. 8, 2021, pp. 1–9.
[35] G. Rosenthal et al., “Mapping higher-order relations between brain structure and function with embedded vector representations of connectomes,” Nature Commun., vol. 9, no. 1, pp. 1–12, Dec. 2018.
[36] G. Levakov, J. Faskowitz, G. Avidan, and O. Sporns, “Mapping individual differences across brain network structure to function and behavior with connectome embedding,” NeuroImage, vol. 242, Nov. 2021, Art. no. 118469.
[3] F. Abdelnour, H. U. Voss, and A. Raj, “Network diffusion accurately models the relationship between structural and functional brain connectivity networks,” NeuroImage, vol. 90, pp. 335–347, Apr. 2014.
[38] F. Abdelnour, M. Dayan, O. Devinsky, T. Thesen, and A. Raj, “Functional brain connectivity is predictable from anatomic network’s Laplacian Eigen-structure,” NeuroImage, vol. 172, pp. 728–739, 2018.
[39] J. Meier et al., “A mapping between structural and functional brain networks,” Brain Connectivity, vol. 6, no. 4, pp. 298–311, May 2016.
[14] R. F. Galán, “On how network architecture determines the dominant patterns of spontaneous neural activity,” PLoS ONE, vol. 3, no. 5, p. e2148, May 2008.
[15] X. Guo, L. Wu, and L. Zhao, “Deep graph translation,” IEEE Trans. Neural Netw. Learn. Syst., early access, Mar. 17, 2022, doi: 10.1109/ TNNLS.2022.3144670.

C. Evaluation Metrics

为了评估SF-GAN和其他技术如何有效地揭示预测图和经验图之间的转换规则，计算了每对图的皮尔逊相关系数r。该度量表示估计数据和真实数据之间的线性相关性，在两个连通性矩阵的上三角值之间进行计算，并在所有对上进行平均。所有模型的输入必须在预处理步骤中对SC矩阵进行归一化。
使用均方误差（MSE）和平均绝对误差（MAE）度量计算 生成的图和真实图 之间的距离测量。较高的r和较低的MSE和MAE显示出更好的性能。

总结一下就是 三个指标：

• 皮尔森相关性（PCC）
• 均方误差（MSE）
• 均绝对误差（MAE）

D. Performance

1）Model Accuracy Analysis

• 与非深度学习的方法比较，SF-GAN在Pearson correlation，在Dataset 1中，高出77.14%；在Dataset 2中，高出73.33%。
• 从Dataset 1到Dataset 2，SF-GAN的PCC至少高出9.09%。
• 与目前SOTA相比，SF-GAN在PCC上，在Dataset 1中，高出32.45%；在Dataset 2中，高出41.32%。
• 元特征显著提高了两个数据集的PCC。在Dataset 1中，Setting 1提高5.41%，Setting 2、Setting 3提高10.25%；在Dataset 2中，Setting 2、Setting 3分别提高了6.67%、4.55%。

2）Model Efficiency Analysis

比其他方法需要更多的方法，但是并不是很高。每个样本的测试时间小于0.03秒，可以忽略。

3）Model Scalability Analysis

…跳过了有点复杂

E. Model Feature Selection

为了研究元特征的影响，我们用 比较方法 比较了表I中两个数据集和三个设置的皮尔逊相关性r。与基线相比，两个数据集中的元特征明显提高了r。因此，我们对数据集1和数据集2进行了进一步分析，了解更多关于这些特性 如何提高性能的。

统计分析： 目标是确定并报告III-A1节中提出的五个选项中对提高模型预测能力影响最大的类别。通过计算训练模型中权重W的平均值，我们获得了一个维数等于元特征总数的向量，它表示每个单独特征对应的平均权重。现在我们可以计算每个类对应的平均权重。

结果表明，“受试者信息”类（“subject information”）显示出最高的平均值。继续分析，五组的单因素方差分析表明，结果在 5% 显著性水平（significance）上是显著的。这是因为，通过计算，$F_{\text{critical}}=F(x,y)=F(4,156)$（x为组间自由度，y为组内自由度），$F_{\text{anova}}=4.83$。可以看出，$F_{\text{critical}}<F_{\text{anova}}$，$p-\text{value}=0.001$。使用最小显著差异（LSD）对该组进行“post hoc”分析表明，“受试者信息”类与其他类别相比具有统计学意义。

如图9所示。年龄也在此类别中。在先前的研究中[7]，也说明了 年龄 的影响。

[7] B. B. Biswal et al., “Toward discovery science of human brain function,” Proc. Nat. Acad. Sci. USA, vol. 107, no. 10, pp. 4734–4739, 2010.

F. Qualitative Analysis of the Visualized Connectivities

（定性分析与可视化连接）

在实验过程中，我们发现许多有趣的预测。由于篇幅所限，只举一个例子。图10展示了受试者21 的研究案例。使用 每个受试者SC的预测FC 非常接近 同一受试者的经验FC，尽管它们具有非常相似的SC邻接矩阵。这是因为SC由 人脑的解剖神经网络 定义，而人类之间的个体差异相对较少[34]。补充材料中显示了更多受试者的案例研究。

???，没看懂。从图中难以直观看出相似，具体还是要看数值。

大脑区域之间的SC和FC如图11所示。这些节点 根据HCP数据库中使用的坐标 表示大脑中的区域，并使用BrainNet Viewer工具箱绘制图表。SC和FC的相应范围由各种色条显示。正如我们所看到的，FC的真实值和预测值包括正边和负边。

从左到右依次是，SC、经验性FC（真实标签）、预测FC

IV. SUBGRAPH DISCOVERY AND Post Hoc ANALYSIS OF RESULTS

（子图发现与Post Hoc分析）

如II-F节所述，我们可以应用我们的新设计来找到SC和FC图中节点的最佳划分。除了子图之间（即，内部连通性和互连性）之外，这些分区内部将具有紧密的连接。为此，我们优化了(8)中定义的目标，以找到具有最小描述长度$L(M)$的最佳分区 $M$。我们使用SC和FC中的邻接矩阵$A$和$A^{\prime }$，加上使用(5)定义的GAP（全局平均池化）压缩梯度来计算(8)中的所有项。受试者1-数据集1的分区结果如图12所示。

受试者1-数据集1 的子图映射。不同颜色代表了不同的子图。

这里，我们总结了500名受试者的研究结果如下，
1）在发现的70%以上的映射中，SC和FC的子图中存在完全相同的节点。对于其余的映射，50%到80%的节点是相同的。
2）在超过70%的映射中，SC右半球的节点决定了FC右半球中的节点。左半球的这一值约为78%。
3）我们还研究了SC子图中边的数量，对于所有映射和所有受试者，这有助于预测FC中的一个或多个边。在92%以上的输入子图中，存在几个（多于5个）边。这可以表明，从SC到FC之间存在集群到集群的对应关系，而不是一对一映射。
4）此外，对于大约89%的映射，我们发现几个重要的 结构边 负责 较少的 功能边。

---

除了单独研究受试者外，我们还计算了数据集中所有受试者的平均互联性（interconnectivity）和内联性（intraconnectivity）值。在这里，我们还报告了通过将这些平均连接性值应用于(8)而发现的子图的观察结果。

总之，我们在考虑SC和FC的大脑区域中识别的九个子图。子图1 包括分别来自SC和FC的28个和30个节点，占全部68个大脑区的很大比例。这表明该子图的SC和FC之间的关联在很大程度上是全局的，并且模块化程度较低。 被分组到相同的子图中的节点，也存在明显的重叠。例如，在子图1中，有26个节点是共同的脑区域。

在子图6中，发现右内嗅皮层、右海马旁回 和 右梭状回 都在SC中形成了子图，并影响了两侧半球FC中的十个脑区。内视皮层、海马旁回 和 梭状回 与 记忆和人脸识别 有关。有趣的是，我们还发现了仅包含SC节点的子图，如 子图4 和 子图9。

V. RELATED WORK

（相关工作）

A. Deep Learning for Graph Transformation

图形神经网络 已被广泛研究，主要关注图循环（recurrent）网络 或 图卷积网络。前者基于循环（recurrent）神经网络，最初在[40]中提出，是一个有吸引力的话题。Bacciu等人[41]提出了一种基于节点排序过程和两个RNN的新方法，每个RNN生成预测图中的一个边的端点。后者（图卷积网络）基于从网格到图数据的卷积思想的推广，利用一系列构建块形成更复杂的图神经网络模型，包括生成模型[42]。通过设计编码器-解码器框架，生成模型可用于图拓扑预测[43]。沿着同样的轨迹，Guo等人[44]为深度生成模型建立了一个基于解纠缠（disentangled）表示学习的新框架。

[40] M. Gori, G. Monfardini, and F. Scarselli, “A new model for learning in graph domains,” in Proc. IEEE Int. Joint Conf. Neural Netw., Jul. 2005,
pp. 729–734.
[41] D. Bacciu, A. Micheli, and M. Podda, “Edge-based sequential graph generation with recurrent neural networks,” Neurocomputing, vol. 416, pp. 177–189, Nov. 2020.
[42] Z. Wu, S. Pan, F. Chen, G. Long, C. Zhang, and P. S. Yu, “A comprehensive survey on graph neural networks,” IEEE Trans. Neural Netw. Learn. Syst., vol. 32, no. 1, pp. 4–24, Jan. 2020.
[43] M. Sun and P. Li, “Graph to graph: A topology aware approach for graph structures learning and generation,” in Proc. 22nd Int. Conf. Artif. Intell. Statist., 2019, pp. 2946–2955.
[44] X. Guo, L. Zhao, Z. Qin, L. Wu, A. Shehu, and Y. Ye, “Interpretable deep graph generation with node-edge co-disentanglement,” in Proc. 26th ACM SIGKDD Int. Conf. Knowl. Discovery Data Mining, Aug. 2020.

B. Feature Selection

最初提出的 特征选择 是一种 数据预处理方法，已成功解决了关键问题，如 数据分析相关领域 中的维数诅咒、过度拟合、高内存和计算复杂性[45]。为了本研究的目的，可以方便地将传统数据的特征选择算法描述为四组。

第一组 根据 特征在数据中保持相似性的程度 为特征赋值。通过定义特征的 效用功能（utility function），并选取最大化其个体效用（individual utility）的前k个特征，该方法在有监督和无监督问题中都被证明是有用的，并且计算复杂度低，尽管该类方法中的大多数方法不能处理特征冗余。

第二组基于条件似然最大化（conditional likelihood maximization）框架。尽管这些方法最大化了特征相关性并最小化了特征冗余，但它们只能应用于离散变量。

第三组由稀疏正则化项组成，通过典型的学习算法消除一些特征。该方法具有较高的可解释性和良好的性能，但计算成本较高。

最后，第四组由 依赖于各种统计度量来评估特征相关性 的方法组成。

这些方法不能解决特征冗余问题。

Zhang等人[46]提出了一种新提出的特征选择方法，该方法将Group Lasso惩罚应用于神经网络的输入。他们声称，他们的方法代表了对主要Group Lasso的改进，消除了对额外权重的需要，并在原点解决不可微分性问题。

[46] H. Zhang, J. Wang, Z. Sun, J. M. Zurada, and N. R. Pal, “Feature selection for neural networks using group lasso regularization,” IEEE Trans. Knowl. Data Eng., vol. 32, no. 4, pp. 659–673, Apr. 2020.

C. SC-to-FC Prediction

在过去几十年中，从 解剖连接模式 推断 不同脑区之间的功能相互作用 一直是许多研究的焦点。该领域的文献可分为三类：基于扩散模式的线性模型、基于神经元活动动力学建模的启发式模型 和 基于图论的模型。

第一类，在模型中纳入扩散过程。
Suárez等人[48]认为，大多数现有模型中SC和FC之间的对应关系是不完善的，并建议使用统计、通信、生物物理模型为连接性分配权重，结合一个或多个信号机制（即路由（routing）或扩散（diffusioin）），或产生刺激诱导的活动。这些模型是区域异构的（regionally heterogeneous），并与细胞和分子元数据相结合，然而，这种模型的复杂性没有被讨论或与其他发现进行比较。
Tarun等人[49]基于对默认模式网络（default mode network, DMN）的分析，提出了一种集成扩散（integrated diffusion）/fMRI方法，并报告了静息状态下大脑区域参与更多（？）。

[48] L. E. Suárez, R. D. Markello, R. F. Betzel, and B. Misic, “Linking structure and function in macroscale brain networks,” Trends Cognit. Sci., vol. 24, no. 4, pp. 302–315, Apr. 2020.
[49] A. Tarun, H. Behjat, T. Bolton, D. Abramian, and D. Van De Ville, “Structural mediation of human brain activity revealed by whitematter interpolation of fMRI,” NeuroImage, vol. 213, Jun. 2020, Art. no. 116718.

第二类，对神经元活动动力学进行假设。
[10]中提到的七个 基于计算的模型 对SC-FC预测的 综合比较表明，所有这些模型都可以简化为基于同时自回归（simultaneous autoregressive, SAR）模型的单核平稳线性过程，并讨论了此类模型当前形式相对于经验FC的有限预测能力。
[9]中报道的工作集中于FC的源头，为大脑的尖峰吸引子网络（spiking attractor network）提出了一种新的建模方法。这种方法非常有效地代表了一种启发式模型，因为它基于尖峰神经元和真实突触，对每个大脑区域的现有机制进行了假设。
You等人[50]提出了一种正则化多元回归方法，用于评估SC和FC（任务态fMRI）之间的相互作用，但未将其方法应用于静息态fMRI测量。他们提出了一种适应非高斯数据的正则化多元回归方法。

第三类，在模型中纳入图论知识。
Becker等人[11]提出了一种基于图谱理论（spectral graph theory-based）的方法，该方法通过计算结构矩阵的加权组合，然后改变坐标（coordinates）以对齐目标和输入图的本征模（eigenmodes），将SC非线性映射到静息态FC。

Tewarie等人[12]，一方面使用线性代数，另一方面使用经验性数据和合成数据。他们得出结论，功能网络可以通过结构网络中的所有可能行走（possible walks）来描述，这相当于使用结构网络的本征模。

[9] G. Deco and V. K. Jirsa, “Ongoing cortical activity at rest: Criticality, multistability, and ghost attractors,” J. Neurosci., vol. 32, no. 10, pp. 3366–3375, 2012.
[10] A. Messé, D. Rudrauf, A. Giron, and G. Marrelec, “Predicting functional connectivity from structural connectivity via computational models using MRI: An extensive comparison study,” NeuroImage, vol. 111, pp. 65–75, May 2015.
[11] C. O. Becker et al., “Spectral mapping of brain functional connectivity from diffusion imaging,” Sci. Rep., vol. 8, no. 1, pp. 1–15, Dec. 2018.
[12] P. Tewarie et al., “Mapping functional brain networks from the structural connectome: Relating the series expansion and eigenmode approaches,” NeuroImage, vol. 216, Aug. 2020, Art. no. 116805.
[50] H. You, S. Lin, and A. Singh, “Learning interpretable models for coupled networks under domain constraints,” in Proc. AAAI Conf. Artif. Intell., vol. 35, 2021, pp. 1–10.

对该领域现有文献的广泛搜索表明，综合考虑（joint consideration）SC-FC链路（link）的非线性、复杂性和随机性的仍然存在空白。除了这一挑战外，评估受试者的各种特征的影响，并在统一的框架内描述 不同大脑区域对应的不同动态模式，可能会大大提高模型的泛化性。

VI. CONCLUSION

• 提出了基于图的条件生成对抗网络SF-GAN，用于从SC推断静息态FC。
• SF-GAN能够捕捉SC-FC之间的非线性、复杂、随机关系。
• 其中，SF-GAN组件包括，
  • 在生成器中集成了元特征
  • 稀疏正则化边反卷积层（sparse-regularized edge convolution layers）
• Post hoc 通过解决多级边相关引导的图聚类问题（multilevel edge-correlation-guided graph clustering problem），可以分析 SC中的哪些子图 与 FC中的哪些子图 强烈相关。

局限性：

• HCP数据中提供的其他的元特征，本文还没有考虑到。
• 除静息态数据外，研究任务态MRI数据也很有意义。