一起养成写作习惯！这是我参与「掘金日新计划 · 4 月更文挑战」的第16天，点击查看活动详情。
大模型
最近一些大模型，想到大模型大家可能会想到基于 transformer 的 GPT-3 这个拥有百亿参数的大模型，而且这样大模型已经突破了 NPL 和 CV 之间界限，让基于 transformer 模型也和基于基于卷积的模型在 CV 领域并驾齐驱。从而也就是改变 CV 范式
大模型会无人驾驶这领域上掀起多少风浪，大模型会不会颠覆现有自动驾驶的框架，带来一个真正意义的 end-to-end 的网络呢? 从现在来看应该还不会。不过大模型现在 Swin MAE 这样模型，具有很好学习能力、不容易饱和，具有很强泛化能力。所以这样模型才能在 CV 也好、NLP 也好都能够学习到很好特征。
主要帮助可能对感知长尾会有，但是对于模型范式方面不太会什么改变，大模型，这里大可能是
特斯拉
特斯拉基于大 backbone 然后不同头用于不同任务，这样多任务、多模态的模型，不过这样多任务模型，并不利于同时开发，特斯拉是在每一头上进行单独训练，对于 share 的 backbone 进行固定
大模型在后端上发挥
对于感知领域，进行 well-define 是一个比较标准的领域，有点类似大家参加数学考试，大家给出答案通常是可以达成共识的，因为题目比较明确。也称和规划是比较发散有点像语文考试，这个答案是发散，很难大家达成共识的，可能大家更注重主观体验，当然文章是优劣，不过评估起来就不那么容易，有点仁者见仁智者见智的感觉。这是所谓大模型，会在预测和控制
面对场景不断，可能开始只需要车道保持、AEB，场景不断扩展、自车行为，自车和他车如何互动，也就是自动驾驶的后端，后端预测和规划，可以使用 transformer。
可以带来相对统一框架
在 CV 和 NLP 的统一，在感知、后端预测都可以利用一个统一框架进行处理，
回答问题是大模型会改变当前
- 长尾
- 预测和控制
- 统一框架
向后问题
- 如何部署
- 考虑算力
今天聊到大模型
GPT-3参数规模首次突破百亿，数据集上将语料规模扩大到570GB的CC数据集。这样