DataFun: ChatGPT背后的模型详解

ChatGPT背后的模型详解

Overview

在这里插入图片描述

Transofrmer

在这里插入图片描述
在这里插入图片描述
各个构件都有一定的作用

Multi-head self attention

在这里插入图片描述
每个字的重要性不一样,学习QKV三个矩阵(query,key,value)
在这里插入图片描述
多组QKV
在这里插入图片描述
在这里插入图片描述

RLHF

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

ChatGPT训练过程

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

思维链 COT

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

猜你喜欢

转载自blog.csdn.net/uncle_ll/article/details/131668411