Latent Representation Learning for Alzheimer’s Disease Diagnosis With Incomplete Multi-Modality Neuroimaging and Genetic Data
多模态数据中包含的补充信息的融合，磁共振成像（MRI），正电子发射断层扫描（PET）和遗传数据促进了阿尔茨海默病（AD）自动化诊断的进展。但是，基于多模态的AD诊断模型通常会因缺少数据而受阻，即，并非所有受试者都具有完整的多模态数据。许多以前的研究使用的一种简单解决方案是丢弃具有缺失模态的样本。然而，这显着减少了训练样本的数量，从而导致了次优的分类模型。此外，在建立分类模型时，大多数现有方法只是将来自不同模式的特征合并为单一特征向量，而无需考虑其潜在的关联。对同一大脑区域，利用它们之间的模态关联可以提高诊断模型的鲁棒性。为此，我们提出了一种新颖的基于多模态 AD 诊断的潜在表示学习方法。具体来说，我们使用所有可用样本（包括具有不完整模态数据的样本）来学习潜在的表示空间。在这个空间内，我们不仅使用具有完整多模态数据的样本来表示共同的潜在代表，而且还使用具有完整多模态数据的样本来学习独立的模态-专性表示。然后，我们将潜在表示投影到标签空间以进行AD诊断。
综述
多模态数据的融合促进了自动 AD 诊断的进展，这要归功于其中包含的补充信息。在使用多模态数据的自动 AD 诊断研究中，特征维度通常很高（例如，成千上万），而训练样本的数量是有限的，即这是一个典型的小样本规模的问题。 为了解决这个问题，以前的研究已经对多模态数据应用了各种降维或特征选择技术，以找到最有用的特征子集以进行准确的 AD 诊断。
为了融合多模态数据，常规方法通常首先分别为每个模态进行特征选择，然后将选定的特征串联起来进行诊断或预后。 但是，这些方法忽略了不同模态之间的潜在关联。 尽管几种经典的多模态融合方法（例如，多核学习（MKL）和规范相关分析（CCA））可以利用不同模态之间的关系，但它们只能应用于完整的多模态数据。对于缺失数据，丢弃和填补的方式都会带来问题。
方法
我们提出了一种新颖的用于AD诊断的潜在表示学习框架。 具体来说，我们假设存在用于多模态数据的潜在空间，每种模态都可以投影到该空间。 从不同的模态到这个共同的潜在空间的投影有望模拟不同模态之间的联系。也就是说，我们首先将来自每种模态（例如MRI，PET和SNP）的数据视为可反映不同属性信息的显式特征。为了充分利用所有可用样本来学习更可靠的预测模型，我们利用具有完整多模态数据的样本来学习共同的潜在特征表示，并利用具有不完整多模态数据的样本来学习独立的（即模态特定的）每个模态的潜在特征表示。 此外，将学习到的潜在表示投影到相应的标签空间以进行 AD 诊断。 我们在阿尔茨海默氏病神经影像学倡议（ADNI）数据库中评估了我们提出的方法，实验结果证明了其有效性。
本文的主要贡献是三个方面。 首先，我们的方法使用潜在空间中的新特征表示而不是原始特征来执行分类任务。 由于将原始特征投影到潜在空间中会涉及稀疏特征学习，因此这些新特征表示预计不会比原始特征嘈杂。 其次，我们的方法利用所有可用的主题来训练更可靠的模型，而常规方法通常仅使用具有完整多模态数据或通过特定算法估算缺失值的主题。第三，我们将潜在特征学习和分类器训练结合在一起 一个统一的框架，而大多数常规方法通常将两个任务分开进行。
框架示意图如下所示 :
总结
这篇文章用的不是深度学习方法，关注的点除了多模态外，还有数据缺失的处理。其主要的思路是将不同模态的数据投影到同一个特征空间中，分别得到模态各异的和共同的特征表达，最后用其进行预测。
