了解大语言模型背后的原理:ChatGPT 背后的突破原因,25,000 台计算机如何训练

请添加图片描述

Good后面接什么词?

您可能会想“早上好”或“再见”。但你绝对不会说“Good Loud”。这根本没有道理。几十年来,计算机科学家一直在训练人工智能来解决这个问题。

请添加图片描述
给定一个单词,我们的人工智能会预测下一个单词。这样做几次,你就生成了一个句子。

这就是 ChatGPT 的工作原理。

ChatGPT 通过整个互联网进行训练,学会了如何像人类一样聊天。然而,这一巨大壮举只有在 2010 年代末取得突破才成为可能。支撑 ChatGPT 的突破并永远塑造我们生活的世界。

这是一个人工智能的故事,它阅读并学习整个互联网上的每一本书、推文和网站。以及它是如何成为可能的。

句子很长。

当我们超越单个单词时,预测下一个单词就会变得更加困难。以这个例子为例。

请添加图片描述
在这种情况下,说“我吃了一个早上好”是没有意义的。但我们的人工智能只看到好的,然后就吐出早上。在大多数情况下,即使人类也需要很多单词来预测下一个单词。因此人工智能也需要这些额外的信息。

我们的人工智能需要阅读许多单词才能预测下一个单词。ChatGPT 可以一次读取8,000多个之前的单词。做到这一点的自然方法是将每

猜你喜欢

转载自blog.csdn.net/iCloudEnd/article/details/132624187