SOTA 很重要,但也不重要

大模型好多,但一般来说你只需要关注那些被打上SOTA标签的模型,SOTA(State of the Art) 就是最前沿、当前最佳的意思,简单说就是“好牛”。

但吹牛是没用的,机器学习领域有一系列公认的方法来评估模型的先进性。

例如,要判断看图聊天的模型是否是SOTA,方法是给图中的11个任务类别和28个数据集里的每个任务制定一个10-15个不同的指令模板,然后和其它的同类SOTA模型做一些比较,这就像在固定赛道赛马一样,结果通常需要在Paper里体现。这一切应该是始于2010年的 Imagenet。

393f941dab4d484c92fbcfdce05932d7.png

然而,SOTA很重要,但有时也不重要。如果一个模型通过一些新的观念和方法给人们带来巨大的启发,那么测试结果哪怕不是当前最佳也是一个好模型。

最近华人发布的开源模型 InstructBLIP 就在多项看图聊天的 SOTA上领跑,有些还要强于GPT4:https://arxiv.org/pdf/2305.06500.pdf

猜你喜欢

转载自blog.csdn.net/insanedesign/article/details/130671659