【GNN】2022 KDD 博士论文奖冠亚军Rex Ying vs 裘捷中博士期间GNN工作

目录

Rex Ying

作者简介

工作介绍

背景

 挑战（要解决的问题）​编辑

 GCN简介和不足

 1-图模型设计之2017 NIPS GraphSAGE

2-图模型设计之2019 NIPS GNNExplainer 

3-应用可扩展性之推荐学习2018 KDD PinSage

4-应用动态图之2020 ICML Learning to Simulate Complex Physics with Graph Networks

 裘捷中

作者简介

 作者工作

 第一部分工作

1-理论上2018 WSDM 节点嵌入谱理论框架 NetMF

 2-理论上2020 NIPS Deepwalk系需要有限步采样即可

第二部分工作

 3-算法上2019 WWW NetSMF大规模嵌入学习

4-算法上2021 SIGMOD LightNE

第三部分工作

5-算法上2020 KDD GCC 图自监督学习

小结

参考 

---

Rex Ying

作者简介

博士期间工作 Towards Scalable, Expressive and Explainable Representation Learning for Graphs

 

 

 

工作介绍

背景

 挑战（要解决的问题）

 GCN简介和不足

 

 1-图模型设计之2017 NIPS GraphSAGE

 

 

 

 补充工作

2-图模型设计之2019 NIPS GNNExplainer 

 

 

 

3-应用可扩展性之推荐学习2018 KDD PinSage

 

 

 

 

 

4-应用动态图之2020 ICML Learning to Simulate Complex Physics with Graph Networks

 

 

 

 

 裘捷中

作者简介

 

研究方向

 

 作者工作

 第一部分工作

1-理论上2018 WSDM 节点嵌入谱理论框架 NetMF

 

 

 2-理论上2020 NIPS Deepwalk系需要有限步采样即可

 

 

 

 

 

 

第二部分工作

基于第一部分工作的嵌入算法和系统设计

 3-算法上2019 WWW NetSMF大规模嵌入学习

将deepwalk扩展到大规模数据上，将稠密图稀疏化再做嵌入学习

 

4-算法上2021 SIGMOD LightNE

基于3的优化，可以扩展到更加大的图数据规模上

 

第三部分工作

因为时间原因，最后一个应用未介绍 

5-算法上2020 KDD GCC 图自监督学习

 预训练想法迁移过来

 最后选择了对比学习

 

小结

从Ying博士期间工作学习到：

• 寻找好问题
• 好insights
• 论文图的绘制-颜色线条等
• PPT制作（颜色+排版）

rebuttal经验之谈

• 这不是一个问题/这是一个已经被解决的问题
• 适当的重复reviewer说的一些观点，因为reviewer因为时间等问题可能忘了
• 写一个cover letter（有的审稿人没时间看自己论文）
• 提出的问题中做个排序（重要的重点回答）

读博感悟（如何规划自己博士研究生涯）

• 增加自己的research impact
  • 论文发表
  • 提供平台如DGL
  • 开源收集的数据集
  • 做talk
  • ......
• 要有自己的规划
  • 会议文章发表有时间
    • 拆分目标在截稿前提交
  • 出去实习
  • 低年级可以explore多一些，后期要focus/concentrate一个点好好做，比较有效
• 图机器学习会需要大规模模型和预训练吗？
  • CV和NLP建模的内容是固定的（图像/文本），但是图有点难
  • 过平滑导致无法做深也吸引大家建模深度GNN
  • domain预训练这个方向可以做

参考 

KDD2022博士论文奖冠亚军对话_哔哩哔哩_bilibili

KDD 2022奖项出炉：华人学者摘创新奖、博士论文奖、新星奖等多个奖项