Exploração LLM: Vários parâmetros comuns do modelo de classe GPT Top-k, Top-p, Temperatura:
Resumo:
1.A temperatura
é usada para ajustar o grau de amostragem aleatória do modelo gerado, portanto, o mesmo prompt pode produzir uma saída diferente cada vez que você clicar em "Gerar". Uma temperatura de 0 sempre produzirá a mesma saída. Quanto maior a temperatura, maior a aleatoriedade!
2. Top p
define dinamicamente o tamanho da lista de tokens candidatos. Os principais tokens da lista restrita cuja soma de probabilidades não excede um determinado valor.
Top p geralmente é definido como um valor alto (como 0,75) para limitar o comprimento dos tokens de baixa probabilidade que podem ser amostrados.
Estender .Top k
permite que outros tokens de alta pontuação tenham a chance de serem selecionados. A aleatoriedade introduzida por essa amostragem contribui para a qualidade da geração em muitos casos. O parâmetro top-k definido como 3 significa selecionar os três principais tokens.
Se k e p estiverem ativados, p entrará em vigor após k.