2. Evaluación del modelo

Evaluación del modelo

1. Sobreajuste y desajuste

[Error en la transferencia de la imagen del enlace externo. El sitio de origen puede tener un mecanismo de enlace anti-sanguijuela. Se recomienda guardar la imagen y subirla directamente (img-QBxfCRGn-1615348716069) (C: \ Users \ LENOVO \ Desktop \ study notes \ ML \ assets \ image-20210308102745943 .png)]

2. Método de evaluación-evaluación del desempeño

[Error en la transferencia de la imagen del enlace externo. El sitio de origen puede tener un mecanismo de enlace anti-sanguijuela. Se recomienda guardar la imagen y subirla directamente (img-N5e3PAwV-1615348716072) (C: \ Users \ LENOVO \ Desktop \ study notes \ ML \ assets \ image-20210308103234054) .png)]

测试误差也叫经验误差，指的是在测试集上预测结果和实际结果上的误差。

测试误差越接近泛化误差越好。

3. Método de generación de conjuntos de datos

[Error en la transferencia de la imagen del enlace externo. El sitio de origen puede tener un mecanismo de enlace anti-sanguijuela. Se recomienda guardar la imagen y subirla directamente (img-K1JMHtj0-1615348716074) (C: \ Users \ LENOVO \ Desktop \ study notes \ ML \ assets \ image-20210308103503411) .png)]

3.1 Método de destilación

[Error en la transferencia de la imagen del enlace externo. El sitio de origen puede tener un mecanismo de enlace anti-sanguijuela. Se recomienda guardar la imagen y subirla directamente (img-2N16SNx5-1615348716076) (C: \ Users \ LENOVO \ Desktop \ study notes \ ML \ assets \ image-20210308103606034 .png)]

Tasa de error: el número de errores en el equipo de prueba / el número total de equipos de prueba * 100%

Desventajas : el error causado por la distribución desigual de la muestra es grande

3.2 Método de validación cruzada (de uso común)

[Error en la transferencia de la imagen del enlace externo. El sitio de origen puede tener un mecanismo anti-hotlinking. Se recomienda guardar la imagen y subirla directamente (img-hl12fJ5L-1615348716077) (C: \ Users \ LENOVO \ Desktop \ study notes \ ML \ assets \ image-20210308104319496) .png)]

En circunstancias normales, el conjunto de datos se divide en k subconjuntos: (10/20) y se realizan p ensayos.

Ventajas : reducción del error de división desigual de la muestra, alta precisión de múltiples pruebas

3.2.1 Caso especial: dejar un método

Deje un dato como conjunto de prueba y el resto como conjunto de entrenamiento

[Error en la transferencia de la imagen del enlace externo. El sitio de origen puede tener un mecanismo de enlace anti-sanguijuela. Se recomienda guardar la imagen y subirla directamente (img-MjL5V5hk-1615348716079) (C: \ Users \ LENOVO \ Desktop \ study notes \ ML \ assets \ image-20210308104640815 .png)]

3.3 Método de autoservicio

[Error en la transferencia de la imagen del enlace externo. El sitio de origen puede tener un mecanismo de enlace anti-sanguijuela. Se recomienda guardar la imagen y subirla directamente (img-gUjf2QRJ-1615348716080) (C: \ Users \ LENOVO \ Desktop \ study notes \ ML \ assets \ image-20210308105007009 .png)]

4. Métricas de desempeño: métricas de evaluación

[Error en la transferencia de la imagen del enlace externo. El sitio de origen puede tener un mecanismo de enlace anti-sanguijuela. Se recomienda guardar la imagen y subirla directamente (img-YpVscC1Y-1615348716081) (C: \ Users \ LENOVO \ Desktop \ study notes \ ML \ assets \ image-20210308105752210 .png)]

4.1 Tome la tarea de clasificación como ejemplo:

Utilice generalmente la tasa correcta y la tasa de error para evaluar

[Error en la transferencia de la imagen del enlace externo. El sitio de origen puede tener un mecanismo de enlace anti-sanguijuela. Se recomienda guardar la imagen y subirla directamente (img-YS9w9KGV-1615348716082) (C: \ Users \ LENOVO \ Desktop \ study notes \ ML \ assets \ image-20210308105810815 .png)]

[Error en la transferencia de la imagen del enlace externo. El sitio de origen puede tener un mecanismo de enlace anti-sanguijuela. Se recomienda guardar la imagen y subirla directamente (img-DvP9RaQF-1615348716083) (C: \ Users \ LENOVO \ Desktop \ study notes \ ML \ assets \ image-20210308105823693) .png)]

正确则当前为1，一共有m个测试样例，所以理想情况下共有m个1，则正确率即1 / m。

错误率 = 1 - 正确率。

不同的情形下：一般要综合其他因素，所以评估指标不唯一。

4.2 Tome la tarea de regresión como ejemplo:

Utilice generalmente la evaluación del error cuadrático medio

[Error en la transferencia de la imagen del enlace externo. El sitio de origen puede tener un mecanismo de enlace anti-sanguijuela. Se recomienda guardar la imagen y subirla directamente (img-ZeUvOfpd-1615348716084) (C: \ Users \ LENOVO \ Desktop \ study notes \ ML \ assets \ image-20210308110416761 .png)]

5. Conjuntos de datos desequilibrados y necesidades especiales

[Error en la transferencia de la imagen del enlace externo. El sitio de origen puede tener un mecanismo de enlace anti-sanguijuela. Se recomienda guardar la imagen y subirla directamente (img-eQddHABe-1615348716085) (C: \ Users \ LENOVO \ Desktop \ study notes \ ML \ assets \ image-20210308111710456) .png)]

En necesidades especiales, la tasa correcta y la tasa de error no pueden describir la calidad del modelo. En este caso, la tasa de recuperación y la tasa de precisión aparecen

5.1 Precisión y tasa de recuperación

[Error en la transferencia de la imagen del enlace externo. El sitio de origen puede tener un mecanismo de enlace anti-sanguijuela. Se recomienda guardar la imagen y subirla directamente (img-e5aIj5WX-1615348716086) (C: \ Users \ LENOVO \ Desktop \ study notes \ ML \ assets \ image-20210308112200314 .png)]

Cuando la tasa de precisión cae, la tasa de recuperación aumentará

Ejemplo: encuentre buenos melones: tasa de precisión (porque está probando cuántos buenos melones son realmente buenos melones)

[Error en la transferencia de la imagen del enlace externo. El sitio de origen puede tener un mecanismo de enlace anti-sanguijuela. Se recomienda guardar la imagen y subirla directamente (img-3iSLMezl-1615348716087) (C: \ Users \ LENOVO \ Desktop \ study notes \ ML \ assets \ image-20210308112733757 .png)]

¿Cuál (tasa de recuperación / precisión) es el estándar?

5.1.1 Método 1: use un punto de equilibrio

[Error en la transferencia de la imagen del enlace externo. El sitio de origen puede tener un mecanismo anti-hotlinking. Se recomienda guardar la imagen y subirla directamente (img-I9piOlPM-1615348716087) (C: \ Users \ LENOVO \ Desktop \ study notes \ ML \ assets \ image-20210308113335611 .png)]

5.1.2 Método 2: medición F1

[Error en la transferencia de la imagen del enlace externo. El sitio de origen puede tener un mecanismo de enlace anti-sanguijuela. Se recomienda guardar la imagen y subirla directamente (img-94eg9OGY-1615348716088) (C: \ Users \ LENOVO \ Desktop \ study notes \ ML \ assets \ image-20210308113434872 .png)]

5.1.3 Método 3: curva ROC

Se utiliza para: muchos métodos para comparar

[Error en la transferencia de la imagen del enlace externo. El sitio de origen puede tener un mecanismo de enlace anti-sanguijuela. Se recomienda guardar la imagen y subirla directamente (img-kSUwpmVY-1615348716088) (C: \ Users \ LENOVO \ Desktop \ study notes \ ML \ assets \ image-20210308113608975 .png)]

[Error en la transferencia de la imagen del enlace externo. El sitio de origen puede tener un mecanismo de enlace anti-sanguijuela. Se recomienda guardar la imagen y subirla directamente (img-B0NI2TcL-1615348716089) (C: \ Users \ LENOVO \ Desktop \ study notes \ ML \ assets \ image-20210308113625761 .png)]

La tasa real es la misma que la tasa de recuperación.

[Error en la transferencia de la imagen del enlace externo. El sitio de origen puede tener un mecanismo de enlace anti-sanguijuela. Se recomienda guardar la imagen y subirla directamente (img-IZmM69tq-1615348716089) (C: \ Users \ LENOVO \ Desktop \ study notes \ ML \ assets \ image-20210308113844858) .png)]

[Error en la transferencia de la imagen del enlace externo. El sitio de origen puede tener un mecanismo de enlace anti-sanguijuela. Se recomienda guardar la imagen y subirla directamente (img-1jGdA11A-1615348716090) (C: \ Users \ LENOVO \ Desktop \ study notes \ ML \ assets \ image-20210308113816343) .png)]

6. Prueba de comparación

[Error en la transferencia de la imagen del enlace externo. El sitio de origen puede tener un mecanismo de enlace anti-sanguijuela. Se recomienda guardar la imagen y subirla directamente (img-djOMps8o-1615348716091) (C: \ Users \ LENOVO \ Desktop \ study notes \ ML \ assets \ image-20210308114216079) .png)]

7. Prueba de hipótesis

[Error en la transferencia de la imagen del enlace externo. El sitio de origen puede tener un mecanismo de enlace anti-sanguijuela. Se recomienda guardar la imagen y subirla directamente (img-BGP1llUI-1615348716091) (C: \ Users \ LENOVO \ Desktop \ study notes \ ML \ assets \ image-20210308114517323) .png)]

En el conjunto de prueba, A es mejor que B. Queremos evaluar cuál es mejor en sentido estadístico.

(Verificación de error de prueba y error de generalización)

7.1 Prueba t bilateral pareada

[Error en la transferencia de la imagen del enlace externo. El sitio de origen puede tener un mecanismo de enlace anti-sanguijuela. Se recomienda guardar la imagen y subirla directamente (img-TlBbwMSt-1615348716092) (C: \ Users \ LENOVO \ Desktop \ study notes \ ML \ assets \ image-20210308114725542) .png)]

u es la media, 6 es la varianza (la media y la varianza de la diferencia entre los errores de entrenamiento de los dos algoritmos)

La tabla de la derecha es la tabla de consulta de valor crítico

7.2 Prueba de Friedman y prueba de seguimiento de Nemenyi

[Error en la transferencia de la imagen del enlace externo. El sitio de origen puede tener un mecanismo de enlace anti-sanguijuela. Se recomienda guardar la imagen y subirla directamente (img-cr9GE5Gk-1615348716093) (C: \ Users \ LENOVO \ Desktop \ study notes \ ML \ assets \ image-20210308115221107 .png)]

[Error en la transferencia de la imagen del enlace externo. El sitio de origen puede tener un mecanismo de enlace anti-sanguijuela. Se recomienda guardar la imagen y subirla directamente (img-jiOhnmf3-1615348716094) (C: \ Users \ LENOVO \ Desktop \ study notes \ ML \ assets \ image-20210308115320480 .png)]

[Error en la transferencia de la imagen del enlace externo. El sitio de origen puede tener un mecanismo de enlace anti-sanguijuela. Se recomienda guardar la imagen y subirla directamente (img-MobcK6xl-1615348716095) (C: \ Users \ LENOVO \ Desktop \ study notes \ ML \ assets \ image-20210308115509997) .png)]

[Error en la transferencia de la imagen del enlace externo. El sitio de origen puede tener un mecanismo de enlace anti-sanguijuela. Se recomienda guardar la imagen y subirla directamente (img-vd2Pzt9s-1615348716096) (C: \ Users \ LENOVO \ Desktop \ study notes \ ML \ assets \ image-20210308115656343) .png)]

15348716093)]

[La imagen del enlace externo se está transfiriendo ... (img-jiOhnmf3-1615348716094)]

[Las imágenes del enlace externo se están transfiriendo ... (img-MobcK6xl-1615348716095)]

[La imagen del enlace externo se está transfiriendo ... (img-vd2Pzt9s-1615348716096)]

[Error en la transferencia de la imagen del enlace externo. El sitio de origen puede tener un mecanismo de enlace anti-sanguijuela. Se recomienda guardar la imagen y subirla directamente (img-K8bPaIK4-1615348716097) (C: \ Users \ LENOVO \ Desktop \ study notes \ ML \ assets \ image-20210308115902608 .png)]