本文是LLM系列文章，针对《MASSIVE EDITING FOR LARGE LANGUAGE MODELS VIA META LEARNING》的翻译。
摘要
虽然大型语言模型（LLM）已经能够从预训练语料库中学习知识，但随着时间的推移，所获得的知识可能从根本上是不正确的或过时的，这需要在训练后纠正语言模型（LM）的知识。一种有前途的方法涉及使用超网络来生成参数偏移，而现有的超网络在同步编辑操作量方面具有较差的可扩展性。为了缓解这个问题，我们提出了大规模语言模型编辑网络（MALMEN），它将参数偏移聚合公式化为最小二乘问题，然后使用正规方程更新LM参数。为了在有限的内存预算下同时编辑多个事实，我们将超网络和LM上的计算分开，从而在两个神经网络上实现任意批量。我们的方法是通过在具有不同架构的LMs上编辑多达数千个事实来评估的，即BERT基础、GPT-2、T5-XL（2.8B）和GPT-J（6B），跨越各种知识密集型NLP任务，即闭书事实核查和问答。值得注意的是，在相同的超网络架构下，MALMEN能够编辑比强基线多数百倍的事实，并且优于专门为GPT设计的编辑器。我们的代码在https://github.com/chenmientan/malmen上可用.
1 引言
2 相关工作
3 问题定义
4 方法
5 经验评价
6 讨论
我们提出了一种可扩展到数千个事实的LM编辑超网络，称为大规模语言模型编辑网络（MALMEN）。我们的评估表明，在相同的架构下，MALMEN可以编辑比MEND多数百倍的事实，并胜过专门为GPT设计的编辑器MEMIT，从而将自己定位为现实世界工业应用的竞争对手。MALMEN将参数偏移聚合公式化为最小二乘问题，随后利用正规方程更新LM参数。为了允许在两个神经网络上都有任意的批量大小，超网络和LM上的计算是分开的，这使得在有约束的内存限制的情况下编辑多个事实是可行的。