O trabalho de Chen Danqi é bom. A semelhança do texto anterior é basicamente apenas uma partitura, mas pode ser dividida em muitas situações semelhantes de diferentes perspectivas. Isso equivale a redefinir a tarefa. Além disso, a construção dos dados também é gerada por meio de modelos, tudo de forma muito prática e rápida. O experimento final também mostra que o GPT4 também comete erros de vez em quando, e essa direção de desenvolvimento pode ser mais estudada e discutida.
Vamos dar uma olhada mais de perto no ponto de vista do autor.
Artigo: C-STS: Similaridade textual semântica condicional
Endereço: https://arxiv.org/abs/2305.15093
Unidade: Princeton, Allen AI, etc.Entre no grupo de PNL —> junte-se ao grupo de intercâmbio de PNL
A similaridade textual semântica (STS) tem sido uma tarefa fundamental na PNL, medindo o grau de similaridade entre um par de sentenças, com aplicações em recuperação de informações, respostas a perguntas e métodos de incorporação.
No entanto, esta é uma tarefa inerentemente ambígua, e a similaridade de sentenças depende de aspectos específicos de interesse.
Abordamos essa ambigüidade propondo uma nova tarefa chamada STS condicional ( C-STS ), que mede a similaridade em termos (aqui, condicional) articulados pela linguagem natural.
Por exemplo, a similaridade entre as sentenças “ jogador da NBA atira uma bola de três pontos ” e “ uma pessoa joga uma bola de tênis para o alto ” é maior (para cima) para a condição “ movimento da bola ”. e menor " tamanho da bola " (uma grande e uma pequena).
O C-STS tem vantagens duplas : (1) reduz a subjetividade e a ambigüidade do STS e (2) diferentes condições podem ser usadas para avaliação de similaridade refinada.
O C-STS contém quase 20.000 instâncias de diferentes domínios e avaliamos vários modelos de última geração para demonstrar que mesmo os modelos de ajuste fino e aprendizado contextual de melhor desempenho (GPT-4, Flan, SimCSE) têm Desafiador com uma pontuação de correlação de Spearman <50.
Incentivamos a comunidade a avaliar seus modelos no C-STS para fornecer uma visão mais abrangente da similaridade semântica e da compreensão da linguagem natural.
Experimento e Análise
Entre no grupo de PNL —> junte-se ao grupo de intercâmbio de PNL