介绍
每天，我都会看到大量讨论大型语言模型 (LLM) 的帖子。这些模型在研发界的盛行一直引起我的兴趣。这些模型的名字如 ChatGPT、BARD 和 Falcon，激起了我的好奇心，迫使我更深入地研究它们的内部工作原理。我发现自己在思考他们的创建过程以及如何构建如此庞大的语言模型。是什么赋予了他们非凡的能力，可以为他们遇到的几乎所有问题提供答案？这些问题占据了我的思绪，驱使我探索法学硕士的迷人世界。我受到这些模型的启发，因为它们抓住了我的好奇心并驱使我彻底探索它们。
大型语言模型简史
大型语言模型的历史可以追溯到 20 世纪 60 年代，当时自然语言处理 (NLP) 迈出了第一步。1967 年，麻省理工学院的一位教授开发了 Eliza，这是第一个 NLP 程序。Eliza 采用模式匹配和替换技术来理解人类并与人类互动。不久之后，即 1970 年，麻省理工学院的另一个团队构建了 SHRDLU，这是一个旨在理解人类并与人类交流的 NLP 程序。
1988 年，循环神经网络 (RNN) 的引入带来了捕获文本数据中的顺序信息的进步。然而，RNN 在处理较长句子方面存在局限性。为了克服这个问题，长短期记忆（LSTM）于1997年被提出。LSTM在基于序列数据的应用中取得了重大进展，并受到了研究界的关注。与此同时，注意力机制也开始受到关注。
虽然 LSTM 在一定程度上解决了处理较长句子的问题，但在处理极长句子时仍然面临挑战。此外，由于无法并行化训练过程，训练 LSTM 模型被证明非常耗时。这些担忧促使大语言模型领域的进一步研究和开发。