MindMap: Knowledge Graph Prompting Sparks Graph of Thoughts in Large Language Models

本文是LLM系列文章,针对《MindMap: Knowledge Graph Prompting Sparks Graph of Thoughts in Large Language Models》的翻译。

思维导图:大型语言模型中的知识图谱提示火花思维图

摘要

LLM通常在吸收新知识的能力、幻觉的产生以及决策过程的透明度方面表现出局限性。在本文中,我们探讨了如何用知识图谱(KG)提示LLM,作为一种补救措施,让LLM了解最新知识,并从LLM中引出推理途径。具体来说,我们构建了一个提示管道,赋予LLM理解KG输入的能力,并使用组合的内隐知识和检索到的外部知识进行推断。此外,我们还研究了启发思维导图,LLM在思维导图上进行推理并生成答案。研究表明,生成的思维导图展示了基于知识本体的LLM推理路径,从而为在生产中探究和衡量LLM推理带来了前景。在三个问答数据集上的实验也表明,MindMap提示带来了显著的经验增益。例如,使用MindMap提示GPT-3.5会持续产生超过GPT-4的压倒性性能。我们还证明,通过从KG中检索结构化事实,MindMap可以优于一系列使用文档检索方法的提示,受益于KG中更准确、简洁和全面的知识。为了重现我们的结果并进一步扩展框架,我们在https://github.com/wylwilling/MindMap上开源了代码。

1 引言

2 相关工作

3 方法

4 实验

5 结论

本文引入了知识图谱(KG)提示1)赋予LLM理解KG输入的能力,2)利用隐式知识和检索到的外部知识相结合来促进LLM的推理。然后,我们研究了启发思维导图,LLM在其中进行推理并用图表表示的理由生成答案。通过在三个问答数据集上进行广泛的实验,我们证明了我们的方法MindMap比普通LLM和检索增强生成方法取得了显著的经验收益。我们设想这项工作为在生产中实现可靠和透明的LLM推理打开了大门。

猜你喜欢

转载自blog.csdn.net/c_cpp_csharp/article/details/132888474
今日推荐