Conjunto de datos de evaluación de modelo grande chino - C-Eval

Enterprise 2023-07-29 22:52:26 views: null

C-EVAL: una suite de evaluación china multidisciplinar de varios niveles para modelos básicos

https://arxiv.org/pdf/2305.08322v1.pdf
https://github.com/SJTU-LIT/ceval
https://cevalbenchmark.com/static/leaderboard.html

Prefacio de la Parte 1

¿Cómo evaluar un modelo de lenguaje grande?

Evaluado en una amplia gama de tareas de PNL.
Evaluado en competencias LLM avanzadas como razonamiento, resolución de problemas matemáticos difíciles y escritura de código.

En inglés, ya hay bastantes puntos de referencia:

Punto de referencia en inglés tradicional: GLUE, que es un punto de referencia de evaluación para tareas de NLU.
El punto de referencia MMLU (Hendrycks et al., 2021a) proporciona evaluaciones multidominio y multitarea recopiladas de exámenes y libros del mundo real.
GRANDE

Supongo que te gusta

Origin blog.csdn.net/qq_36426650/article/details/132001366

Conjunto de datos de evaluación de modelo grande chino - C-Eval

[GPT] Clasificación y evaluación de modelos de lenguaje grande chino (C-Eval, AGIEval, MMLU, SuperCLUE)

Firefly: modelo de idioma grande conversacional chino

Conjunto de datos TUM de evaluación Evo

Evaluación del modelo grande de Wenxin Yiyan

El modelo de idioma grande conversacional chino Firefly-2b6 es de código abierto y utiliza 2,1 millones de datos de entrenamiento

Minería de datos: estados modelo de evaluación

Conjunto de datos de emisión de bonos del gobierno chino (2002-2023)

Lanzamiento del modelo de idioma grande chino nacional "Tianhe Tianyuan"

Implementación de pytorch del conjunto de datos chino MNIST (Kaggle)

Generación de datos de referencia de evaluación de la realidad del modelo de lenguaje

Algoritmo FedAvg + modelo LSTM + conjunto de datos de Shakespeare - tarea de predicción de caracteres

Modelo de evaluación dinámica de precio de datos basado en juego de crédito

Código fuente de previsión de stock general + modelo + conjunto de datos basado en la red neuronal LSTM

[Ciencia de datos] Scikit-learn [Scikit-learn, carga de datos, datos del conjunto de entrenamiento y del conjunto de prueba, creación de modelos, ajuste de modelos, ajuste de datos y modelos, evaluación del rendimiento del modelo, ajuste del modelo]

El modelo grande de Huawei finalmente está aquí, y mi evaluación es: bastante impactante

[Aprendizaje automático] Evaluación del modelo: capacitación y evaluación del modelo de conjunto de dígitos escritos a mano

Documentación de modelo grande de código abierto

Interpretación de código Blip de modelo grande multimodal

Modelo de chino a inglés

[Inteligencia artificial] Chat de modelo grande de código abierto doméstico AquilaChat Comience rápidamente a comenzar con el combate real y la evaluación de efectos

código fuente de la biblioteca de tensorflow / modelo Deeplabv3 + implementación (tres) el conjunto de datos de VOC2012 re-dividido conjunto de entrenamiento, conjunto de validación

[Ciencia de datos] Keras [Keras, datos, arquitectura de modelo, preprocesamiento, revisión de modelo, compilación de modelo, entrenamiento de modelo, evaluación del rendimiento del modelo, predicción, guardar/cargar modelo, ajuste fino del modelo]

paddlex usa un conjunto de datos personalizado para entrenar un modelo de segmentación semántica

modelo de lenguaje evaluación Perplejidad

YOLO divide el conjunto de datos (conjunto de entrenamiento, conjunto de verificación, conjunto de prueba)

[YOLO] YOLOv5+Deep Sort realiza la evaluación MOT (conjunto de datos de fuente abierta + conjunto de datos personalizado)

【Special Express】Modelo grande, optimización de ancho de banda, llamadas salientes inteligentes y práctica de datos de AIGC

Conjunto de datos KITTI

Crear conjunto de datos

Recomendado

Clasificación

Diario

Más

2024-05-13(7)

2024-05-12(22)

2024-05-11(31)

2024-05-10(32)

2024-05-09(31)

2024-05-08(18)

2024-05-07(35)

2024-05-06(4)

2024-05-05(0)

2024-05-04(17)