网络表示学习论文阅读笔记

论文题目：Structural Deep Network Embedding

主要解决的问题：

1. High non-linearity:网络的底层结构是高度非线性的，但是传统的方法使用浅层的神经网络学习无法学习到网络高度的非线性的信息。
2. Structure-preserving：为了给下游的分类预测等任务提供足够的信息，保留网络的局部和全局的结构信息都是非常必要的，但是同时做到保留这些结构信息是非常困难的。
3. Sparsity：很多现实世界中的网络都是高度稀疏的，使用这些有限的边信息很难达到比较高的性能。

解决方法：

为了更好地捕捉高度非线性结构，本文提出了一种新的学习网络顶点表示的深度模型。使用半监督学习模型，非监督组件使用二阶距离来捕获全局网络结构，监督组件使用一阶距离捕获局部网络信息，该方法通过在半监督深度模型中联合优化，既能保持局部网络结构又能保持全局网络结构，对稀疏网络具有较强的鲁棒性。

注意：这里给出的定义是一阶距离对应的是网络的局部信息，二阶距离对应的是网络的全局网络结构，这种思路说法来源自LINE。

网络结构和优化函数设计

优化函数：略

实验

数据集：

1. BLOGCATALOG [27], FLICKR [27] and YOUTUBE
2. ARXIV GR-QC
3. 20-NEWSGROUP

对比算法：

1. DeepWalk
2. LINE
3. GraRep
4. Laplacian Eigenmaps (LE)
5. Common Neighbor

评价指标：

1. precision@k
2. Mean Average Precision
3. Macro-F1

下游应用：

1. Network Reconstruction
2. Multi-label Classification
3. Link Prediction
4. Visualization
5. Parameter Sensitivity

结论

在本文中，作者提出了一种结构化的深度网络嵌入，即SDNE，来实现网络嵌入，该方法具有鲁棒性，可以捕获网络局部和全局信息，对比其他算法，获得了已存在算法最好的性能。