知识图谱和知识库补全、知识图谱嵌入
IterDE:用于知识图谱嵌入的迭代知识蒸馏框架
知识图嵌入是一种将知识图中的实体和关系嵌入到一个连续的向量空间中的方法，可以用于知识推理和应用。知识蒸馏是一种将一个高维的原始KGE模型压缩到一个低维的蒸馏KGE模型的方法，可以减少存储空间和提高推理效率。但是，现有的KD方法在压缩KGE模型时会导致性能下降，而且大多数方法只关注推理时间的减少，而忽略了蒸馏KGE模型的训练过程的耗时。IterDE提出了一种迭代蒸馏的方法，使得一个KGE模型可以在迭代蒸馏过程中交替地作为学生模型和教师模型。这样，知识可以在高维的教师模型和低维的学生模型之间平滑地传递，同时保持良好的KGE性能。此外，为了优化训练过程，IterDE考虑到硬标签损失和软标签损失之间不同的优化目标会影响训练效率，因此提出了一种软标签权重动态调整机制，可以通过逐渐增加软标签损失的权重来平衡硬标签损失和软标签损失之间优化方向的不一致。实验结果表明，IterDE在链接预测任务上相比强基线达到了新的KGE蒸馏性能的最高水平。值得注意的是，IterDE可以将训练时间平均减少50%。最后，更多探索性实验表明，软标签权重动态调整机制和更细粒度的迭代可以提高蒸馏性能。
- 地址
https://doi.org/10.1609/aaai.v37i4.25570 - 引用
Liu, J., Wang, P., Shang, Z., & Wu, C. (2023). IterDE: An Iterative Knowledge Distillation Framework for Knowledge Graph Embeddings. Proceedings of the AAAI Conference on Artificial Intelligence, 37(4), 4488-4496.
Analogical Inference Enhanced Knowledge Graph Embedding
它提出了一种利用类比推理来增强KGE模型的能力的框架。知识图嵌入是一种将知识图中的实体和关系映射到连续的向量空间中的方法，可以用于预测知识图中缺失的链接。类比推理是一种基于已知事实之间的相似性来推导出未知事实的推理方法，比如“苹果是水果，橙子也是水果”可以推出“苹果和橙子有相似的属性”。这篇论文认为，知识图中经常存在一些难以通过归纳推理得到的不完整的三元组，比如“北京是中国的首都，柏林是德国的首都”，但是“巴黎是法国的首都”却缺失了。为了解决这个挑战，作者借鉴了类比推理的思想，提出了一个通用的自监督框架AnKGE，它可以从实体级别、关系级别和三元组级别检索合适的类比对象，并训练一个类比函数，将原始的元素嵌入投影到类比对象嵌入上。然后，作者将类比函数得到的分数与原始KGE模型得到的分数进行插值，并引入了自适应权重来平衡两者。作者在FB15k-237和WN18RR两个数据集上进行了实验，证明了AnKGE在链接预测任务上达到了与现有方法相竞争的结果，并且能够很好地进行类比推理。
-
引用
Yao, Z., Zhang, W., Chen, M., Huang, Y., Yang, Y., & Chen, H. (2023). Analogical Inference Enhanced Knowledge Graph Embedding. Proceedings of the AAAI Conference on Artificial Intelligence, 37(4), 4801-4808.
Lifelong Embedding Learning and Transfer for Growing Knowledge Graphs
现有的KGE模型大多只关注静态的KG，而忽略了真实世界中的KG是不断演化和增长的，随着知识图应用的发展，会不断出现新的事实和未见过的实体和关系。这就需要一个嵌入模型能够快速地学习和迁移新知识，而不需要从头开始学习。为此，作者提出了一个终身KG嵌入学习和迁移的框架，它考虑了在增长的KG快照上进行知识迁移和保留，而不需要重新训练嵌入。该框架包括一个掩码KG自编码器用于嵌入学习和更新，一个嵌入迁移策略用于将已学习的知识注入到新的实体和关系嵌入中，以及一个嵌入正则化方法用于避免灾难性遗忘。为了研究KG增长的不同方面对嵌入性能的影响，作者构建了四个数据集来评估终身KG嵌入学习和迁移的效果。实验结果表明，该框架在链接预测任务上优于现有的归纳和终身嵌入基线方法。
- 地址
https://arxiv.org/pdf/2211.15845.pdf - 引用
Cui, Y., Wang, Y., Sun, Z., Liu, W., Jiang, Y., Han, K., & Hu, W. (2023). Lifelong Embedding Learning and Transfer for Growing Knowledge Graphs. Proceedings of the AAAI Conference on Artificial Intelligence, 37(4), 4217-4224.
Efficient Embeddings of Logical Variables for Query Answering over Incomplete Knowledge Graphs
很多应用中的知识图都是高度不完整的，因此需要一个能够预测缺失的三元组（或逻辑事实）的方法来补全知识图。链接预测器是一种机器学习模型，可以预测单个缺失的三元组是否成立。这些模型通常通过先在训练阶段学习实体和关系的向量表示，然后利用这些嵌入来预测单个三元组。近年来，有人提出了一种利用神经链接预测器来高效地回答复杂查询的方法，这种方法的一个重要优势是它不需要为复杂查询提供训练样本，只需要有一个针对知识图训练好的链接预测器。然而，这种方法在推理阶段会有很高的计算代价，并且不能处理涉及否定的查询。在这篇文章中，作者提出了一种新的方法来解决这些限制。他们提出了一种有效地嵌入逻辑变量的方法，可以将复杂查询转化为简单查询，并且可以处理否定。他们在两个公开数据集上进行了实验，证明了他们的方法在回答复杂查询时具有更好的性能，同时显著地减少了推理时间。
-
引用
Wang, D., Chen, Y., & Cuenca Grau, B. (2023). Efficient Embeddings of Logical Variables for Query Answering over Incomplete Knowledge Graphs. Proceedings of the AAAI Conference on Artificial Intelligence, 37(4), 4652-4659.
NQE: N-ary Query Embedding for Complex Query Answering over Hyper-Relational Knowledge Graphs
这篇文章是关于如何使用一种新颖的N-ary Query Embedding (NQE) 模型来进行复杂的知识图谱查询 (CQA) 的。知识图谱 (KG) 是一种表示实体和关系的结构化数据，可以用于多跳和逻辑推理。传统的CQA方法通过图数据库查询语言，如SPARQL，来获取答案，但这种方法面临着时间复杂度高和缺失边缘的挑战。为了解决这些挑战，一些基于查询嵌入 (QE) 的方法提出了将查询和实体嵌入到同一个潜在空间中，并通过计算相似度分数来获取查询答案。然而，大多数QE方法只限于二元关系事实之间的查询，而忽略了包含多于两个实体的n元事实 (n>=2)，这些事实在现实世界中更为普遍。此外，以前的CQA方法只能对少数给定类型的查询进行预测，不能灵活地扩展到更复杂的逻辑查询，这极大地限制了它们的应用。为了克服这些挑战，这篇文章提出了一种针对超关系知识图谱 (HKG) 的N-ary Query Embedding (NQE) 模型，HKG包含了大量的n元事实。NQE利用双异构Transformer编码器和模糊逻辑理论来满足所有n元FOL查询，包括存在量词、合取、析取和否定。文章还提出了一种并行处理算法，可以在一个批次中训练或预测任意n元FOL查询，不管每个查询的类型如何，具有良好的灵活性和可扩展性。此外，文章还生成了一个新的CQA数据集WD50K-NFOL，包括了在WD50K上的多样化n元FOL查询。在WD50K-NFOL和其他标准CQA数据集上的实验结果表明，NQE是目前最先进的HKG上的CQA方法，具有良好的泛化能力。
-
引用
Luo, H., E, H., Yang, Y., Zhou, G., Guo, Y., Yao, T., Tang, Z., Lin, X., & Wan, K. (2023). NQE: N-ary Query Embedding for Complex Query Answering over Hyper-Relational Knowledge Graphs. Proceedings of the AAAI Conference on Artificial Intelligence, 37(4), 4543-4551.
DHGE: Dual-View Hyper-Relational Knowledge Graph Embedding for Link Prediction and Entity Typing
DHGE: Dual-View Hyper-Relational Knowledge Graph Embedding for Link Prediction and Entity Typing是一篇关于如何使用双视图超关系知识图谱来进行链接预测和实体类型判断的论文。链接预测是一种从知识图谱中预测缺失的实体或关系的任务，而实体类型判断是一种从知识图谱中识别实体所属的概念类别的任务。这些任务对于知识图谱的完善和应用有很重要的作用。然而，现有的方法主要是基于单视图的超关系知识图谱，它们忽略了实体之间的层次结构，即实体和概念之间的从属关系。为了解决这个问题，这篇论文提出了一种双视图超关系知识图谱结构（DH-KG），它包含了一个超关系实例视图和一个超关系本体视图。超关系实例视图包含了由主三元组和辅助属性值描述组成的超关系事实，而超关系本体视图包含了由概念和层次关系组成的超关系事实。这样，DH-KG能够同时表示实体之间的语义关联和层次关联。基于DH-KG，这篇论文提出了一种双视图超关系知识图谱嵌入模型（DHGE），它利用GRAN编码器、HGNNs和联合学习来学习双视图下的实体和关系嵌入，并在链接预测和实体类型判断任务上进行评估。实验结果表明，DHGE在两个新构建的DH-KG数据集上优于现有的方法。
Luo, H., E, H., Tan, L., Zhou, G., Yao, T., & Wan, K. (2023). DHGE: Dual-View Hyper-Relational Knowledge Graph Embedding for Link Prediction and Entity Typing. Proceedings of the AAAI Conference on Artificial Intelligence, 37(5), 6467-6474.
时序
Temporal Knowledge Graph Reasoning with Historical Contrastive Learning
时序知识图是一种存储和建模动态关系的有效方式，可以用于事件预测。但是，大多数时序知识图推理方法都高度依赖于事件的重复性或周期性，这给缺乏历史交互的实体相关的未来事件的推理带来了挑战。事实上，当前时刻通常是一小部分历史信息和那些未观察到的潜在因素的综合效应。为此，作者提出了一种基于历史对比学习的新的事件预测模型，称为对比事件网络（CENET）。CENET学习历史和非历史依赖性，以区分最有潜力的实体，使其能够最好地匹配给定的查询。同时，它通过启动对比学习来训练查询的表示，以探究当前时刻是更依赖于历史事件还是非历史事件。这些表示进一步帮助训练一个二元分类器，其输出是一个布尔掩码，用于指示搜索空间中的相关实体。在推理过程中，CENET采用基于掩码的策略来生成最终结果。作者在五个基准图上评估了他们提出的模型。结果表明，CENET在大多数指标上显著优于所有现有方法，在基于事件的数据集上至少相对于之前的最先进基线提高了8.3%的Hits@1。
- 地址
https://doi.org/10.1609/aaai.v37i4.25601 - 引用
Xu, Y., Ou, J., Xu, H., & Fu, L. (2023). Temporal Knowledge Graph Reasoning with Historical Contrastive Learning. Proceedings of the AAAI Conference on Artificial Intelligence, 37(4), 4765-4773.
Logic and Commonsense-Guided Temporal Knowledge Graph Completion
这篇论文是关于如何使用逻辑和常识来指导时序知识图谱的补全的。时序知识图谱 (TKG) 是一种表示实体在不同时间点上的关系变化的结构化数据，可以用于多跳和时序推理。传统的TKG补全方法通过基于图神经网络 (GNN) 的模型来预测缺失的三元组，但这些模型忽略了逻辑和常识的约束，导致了一些不合理和不一致的预测。为了解决这个问题，这篇论文提出了一种基于逻辑和常识的TKG补全方法，称为Logic and Commonsense-Guided Temporal Knowledge Graph Completion (LC-TKG)。LC-TKG利用一个双向Transformer编码器来学习实体和关系的时序嵌入，并使用一个逻辑推理模块和一个常识推理模块来对嵌入进行后处理，以满足不同类型的逻辑和常识规则。LC-TKG可以有效地处理存在量词、否定、合取、析取、蕴含等逻辑运算，以及时间一致性、因果关系、属性变化等常识约束。文章还提出了一个新的TKG补全数据集ICEWS18-LOGIC，包括了在ICEWS18上的多样化逻辑查询。在ICEWS18-LOGIC和其他标准TKG补全数据集上的实验结果表明，LC-TKG是目前最先进的TKG补全方法，具有良好的逻辑和常识推理能力。
-
引用
Niu, G., & Li, B. (2023). Logic and Commonsense-Guided Temporal Knowledge Graph Completion. Proceedings of the AAAI Conference on Artificial Intelligence, 37(4), 4569-4577.
多模态
Scene Graph to Image Synthesis via Knowledge Consensus
是一篇关于从场景图生成图像的论文，由Yang Wu等人在2023年的AAAI会议上发表。场景图是一种描述图像中的对象和关系的语义图结构，可以用于指导图像的合成过程，比如类别标签或文本描述等其他方式。这篇论文提出了一种新的基于知识共识的场景图到图像生成的框架，它可以解决以下几个挑战：
- 如何在不依赖于额外信息（如对象布局或分割掩码）的情况下，从场景图生成高质量的图像。
- 如何在对抗生成过程中揭示出知识图和图像之间的隐含语义，并实现一个同时语义解耦和分布对齐的原则。
- 如何利用多个对抗优化目标来实现这个原则，并提高生成图像的质量和多样性。
论文贡献： - 提出了知识共识原则，它明确地描述了观察到的图像、图形语义和隐藏的视觉表示之间的三角因果依赖关系。
- 基于知识共识原则，设计了一个新的场景图到图像生成的框架，包括一个语义解耦模块和一个分布对齐模块。
- 在两个公开数据集上进行了广泛的实验，证明了该框架在场景图到图像生成任务上相比现有方法具有显著的优势。
- 地址
https://doi.org/10.1609/aaai.v37i3.25387 - 引用
Wu, Y., Wei, P., & Lin, L. (2023). Scene Graph to Image Synthesis via Knowledge Consensus. Proceedings of the AAAI Conference on Artificial Intelligence, 37(3), 2856-2865.
Leveraging Weighted Cross-Graph Attention for Visual and Semantic Enhanced Video Captioning Network
视频字幕生成是一种将视频内容转化为自然语言描述的任务，它可以用于视频检索、摘要、理解等应用。目前，基于注意力的编码器-解码器方法是广泛使用的字幕生成方法，它可以根据视频中的关键区域来生成描述。然而，这些方法大多只利用了视觉注意力特征来突出视频区域，而忽略了已有字幕的语义特征。这些语义特征包含了有助于生成高度信息化的人类描述式字幕的重要信息。因此，作者提出了一种新的视觉和语义增强的视频字幕生成网络，名为VSVCap，它有效地利用了多个真实字幕。作者的目标是生成既有视觉又有语义增强的字幕，通过利用视频和文本两种模态。为了实现这一目标，作者提出了一种细粒度的跨图注意力机制，它可以捕捉视觉图和文本知识图之间详细的图嵌入对应关系。作者在节点级别进行了匹配和结构级别进行了推理，以实现加权区域图和知识图之间的对齐。作者在三个基准数据集上进行了实验，即YouTube2Text, MSR-VTT, 和VATEX。实验结果表明，作者的网络能够准确地捕捉视频中的所有关键对象、关系和语义增强事件，以生成类似人类注释的字幕。
- 地址
https://doi.org/10.1609/aaai.v37i2.25343 - 引用
Verma, D., Haldar, A., & Dutta, T. (2023). Leveraging Weighted Cross-Graph Attention for Visual and Semantic Enhanced Video Captioning Network. Proceedings of the AAAI Conference on Artificial Intelligence, 37(2), 2465-2473.
Multi-Modal Knowledge Hypergraph for Diverse Image Retrieval
Multi-Modal Knowledge Hypergraph for Diverse Image Retrieval是一篇关于如何使用多模态知识图谱 (MMKG) 来提高图像检索的多样性和可解释性的论文。图像检索是一种根据关键词来查找相关图像的任务，它在实际场景中有很广泛的需求。然而，现有的方法要么依赖于人工设计的多阶段重排策略来增加结果的多样性，要么通过一个隐式的生成器来扩展子语义，这些方法要么需要人工劳动，要么缺乏可解释性。为了学习更多样化和可解释性更强的表示，这篇论文利用了MMKG，它包含了丰富的实体和关系，并能够连接视觉和文本。然而，现成的MMKG和检索数据集之间存在巨大的领域差距，以及图像和文本之间存在语义差距，这使得MMKG的融合变得困难。为了解决这个问题，这篇论文提出了一种基于超图 (hypergraph) 的解决方案，它能够建模多对多的关系，来应对异构数据源和异构模态的挑战。具体来说，一个基于超链接 (hyperlink) 的解决方案，Multi-Modal Knowledge Hyper Graph (MKHG) 被提出，它通过各种超链接来连接异构数据，从而增加子语义的多样性。其中，一个超图构建模块首先定制各种超边 (hyperedge) 来链接异构的MMKG和检索数据库。一个多模态实例装袋 (instance bagging) 模块然后显式地选择实例来多样化语义。同时，一个多样化概念聚合器 (diverse concept aggregator) 灵活地适应关键子语义。最后，几种损失函数被采用来优化语义空间。在两个真实世界的数据集上进行的广泛实验验证了该方法的有效性和可解释性。
- 地址
https://doi.org/10.1609/aaai.v37i3.25445 - 引用
Zeng, Y., Jin, Q., Bao, T., & Li, W. (2023). Multi-Modal Knowledge Hypergraph for Diverse Image Retrieval. Proceedings of the AAAI Conference on Artificial Intelligence, 37(3), 3376-3383.
表示学习
Learning Better Representations Using Auxiliary Knowledge
表示学习是机器学习和人工智能的核心，它可以将输入数据点总结为低维向量。这些低维向量应该准确地反映输入数据的特征，因此找到最有效和最稳健的表示方法是非常重要的，因为机器学习任务的性能取决于表示的质量。在这篇文章中，作者讨论了一种基于外部知识来增强表示学习的方法。作者简要地描述了现有技术的不足，并说明了如何利用辅助知识源来获得更好的表示。
- 地址
https://doi.org/10.1609/aaai.v37i13.26927 - 引用
Rezayi, S. (2023). Learning Better Representations Using Auxiliary Knowledge. Proceedings of the AAAI Conference on Artificial Intelligence, 37(13), 16133-16134.
关系抽取
On Analyzing the Role of Image for Visual-Enhanced Relation Extraction (Student Abstract)
是一篇关于如何使用图像来提高关系抽取的效果和质量的论文。关系抽取是一种从文本中识别两个实体之间的语义关系的任务，它对于知识图谱的构建和许多知识驱动的任务有很重要的作用。然而，现有的关系抽取方法主要是基于文本的，可能在社交媒体文本中表现不佳，因为这些文本缺乏上下文。同时，图像内容，如Twitter上的图片帖子，经常伴随着文本出现。利用图像内容来补充缺失的语义信息来提高性能是很直观的。最近，有些研究者引入了视觉增强的关系抽取，也称为多模态关系抽取，它旨在利用图像内容来辅助识别两个实体之间的关系。目前最先进的方法MEGA (Zheng and et al 2021b) 提出了一种有效的策略，通过视觉场景图和句法依存树来找到视觉和文本内容之间的映射，最终提高了多模态关系抽取的性能。
这篇论文对多模态关系抽取的内部机制进行了深入的分析，并得到了一些有趣的实证发现。作者发现，并非所有的图像信息都有助于提高性能。此外，实证分析表明，场景图中的缺失和误导信息可能会干扰决策，而且模型对于一些特定类型的关系并不比纯文本的关系抽取模型更有效。基于这些观察，作者进一步提出了一种基于Transformer的隐式细粒度多模态对齐方法作为多模态关系抽取的强基线。实验结果表明，该方法具有更好的性能。
- 地址
https://arxiv.org/abs/2211.07504 - 引用
Li, L., Chen, X., Qiao, S., Xiong, F., Chen, H., & Zhang, N. (2023). On Analyzing the Role of Image for Visual-Enhanced Relation Extraction (Student Abstract). Proceedings of the AAAI Conference on Artificial Intelligence, 37(13), 16254-16255. - GitHub
https://github.com/zjunlp/DeepKE/tree/main/example/re/multimodal