记录一下transformers中GLUE各个任务所用的评估方法
| 任务名字 | 内容 | 类型 | 评估方法 |
|---|---|---|---|
| CoLA | 语言可接受性语料库. 分类人物,预测一个句子是否是acceptable. | 基于单个句子的分类任务 | mcc |
| SST-2 | 斯坦福情感分类树. 分类任务,电影评价的情感分析. | 基于单个句子的分类任务 | acc |
| MRPC | 微软研究释义语料库. 样本为文本时,判断两个文本的信息是否时等价的. | 基于句子对的分类任务 | acc_and_f1 |
| STS-B | 语义文本相似度数据集.样本为文本对,判断两个文本语义信息的相似度,分数为1-5. | 基于句子对的分类任务 | pearson_and_spearman |
| QQP | 文本匹配. 判断两个问题的语义是否等价的. | 基于句子对的分类任务 | acc_and_f1 |
| MNLI | 多类型文本蕴含关系识别. 文本间的推理关系,又称为文本蕴含关系.样本都是文本对第一个文本M作为前提, 如果能够从文本M推理出第二个文本N,即可说M蕴含N, M->N.两个文本关系一共有3种: entailment(蕴含), contradiction(矛盾),neutral(中立) | 基于句子对的分类任务 | acc |
| QNLI | 自然语言问题推理. 二分类任务,正样本为(question, sentence),包含正确的answer; 负样本为(question, sentence), 不包含正确的answer. 用于判断文本是否包含问题的答案,类似与做阅读理解定位问题所在的段落. | 基于句子对的分类任务 | acc |
| RTE | 文本蕴含关系识别. 类似与MNLI,但是只是对蕴含关系的二分类判断,而且数据集更小. | 基于句子对的分类任务 | acc |
其中各个评估方法如下:
def simple_accuracy(preds, labels):
return (preds == labels).mean()
def acc_and_f1(preds, labels):
acc = simple_accuracy(preds, labels)
f1 = f1_score(y_true=labels, y_pred=preds)
return {
"acc": acc,
"f1": f1,
"acc_and_f1": (acc + f1) / 2,
}
def pearson_and_spearman(preds, labels):
pearson_corr = pearsonr(preds, labels)[0]
spearman_corr = spearmanr(preds, labels)[0]
return {
"pearson": pearson_corr,
"spearmanr": spearman_corr,
"corr": (pearson_corr + spearman_corr) / 2,
}
def glue_compute_metrics(task_name, preds, labels):
assert len(preds) == len(labels)
if task_name == "cola":
## CoLA: the corpus of linguistic acceptability
## 语言可接受性语料库.分类人物,预测一个句子是否是acceptable.
## 基于单个句子的分类任务
return {"mcc": matthews_corrcoef(labels, preds)}
elif task_name == "sst-2":
## SST-2: the standford sentiment treebank
## 斯坦福情感分类树. 分类任务,电影评价的情感分析.
## 基于单个句子的分类任务
return {"acc": simple_accuracy(preds, labels)}
elif task_name == "mrpc":
## MRPC: microsoft research paraphrase corpus
## 微软研究释义语料库. 样本为文本时,判断两个文本的信息是否时等价的.
## 基于句子对的分类任务
return acc_and_f1(preds, labels)
elif task_name == "sts-b":
## STS-B: the semantic textual similarity benchmark
## 语义文本相似度数据集.样本为文本对,判断两个文本语义信息的相似度,分数为1-5.
## 基于句子对的分类任务
return pearson_and_spearman(preds, labels)
elif task_name == "qqp":
## QQP: quora question pairs
## 文本匹配. 判断两个问题的语义是否等价的.
## 基于句子对的分类任务
return acc_and_f1(preds, labels)
elif task_name == "mnli":
## MNLI: multi-genre natural language inference
## 多类型文本蕴含关系识别. 文本间的推理关系,又称为文本蕴含关系.样本都是文本对
## 第一个文本M作为前提, 如果能够从文本M推理出第二个文本N,即可说M蕴含N, M->N.
## 两个文本关系一共有3种: entailment(蕴含), contradiction(矛盾),neutral(中立)
## 基于句子对的分类任务
return {"acc": simple_accuracy(preds, labels)}
elif task_name == "mnli-mm":
return {"acc": simple_accuracy(preds, labels)}
elif task_name == "qnli":
## QNLI: question natrual language inference
## 自然语言问题推理. 二分类任务,正样本为(question, sentence),包含正确的answer;
## 负样本为(question, sentence), 不包含正确的answer. 用于判断文本是否包含问题的答案,
## 类似与做阅读理解定位问题所在的段落.
## 基于句子对的分类任务
return {"acc": simple_accuracy(preds, labels)}
elif task_name == "rte":
## RTE: recogniziong textual entailment
## 文本蕴含关系识别. 类似与MNLI,但是只是对蕴含关系的二分类判断,而且数据集更小.
## 基于句子对的分类任务
return {"acc": simple_accuracy(preds, labels)}
elif task_name == "wnli":
## WNLI: Winograd NLI
## 自然语言推断 识别蕴含
return {"acc": simple_accuracy(preds, labels)}
else:
raise KeyError(task_name)
