"token" é a unidade de dados do modelo de classe de idioma atual. O atual modelo de linguagem autorregressiva é baseado em tokens como unidade de processamento e cálculo de dados. A tokenização consiste em decompor textos longos, como sentenças, parágrafos e artigos, em estruturas de dados baseadas em tokens. Depois que o texto é segmentado, cada palavra é representada como vetores para cálculo de modelos. Por exemplo, no contexto do inglês, "happy" pode ser decomposto em dois tokens, "hap" e "-py".
Reimpresso: Correção de cálculo do poder de computação do ChatGPT - parâmetros e métodos de cálculo mais precisos
No LLM de código aberto com parâmetros comparáveis ao GPT-3 - BLOOM com 176 bilhões de parâmetros, quatro placas de computação S30 com núcleo de tinta podem atingir uma velocidade de geração de conteúdo de 25 tokens/s, superior a 8 Zhang A100 .
ps: tokens/s representa a velocidade de geração de conteúdo de modelo grande.