Tabla de contenido
El papel de la función de pérdida
Comparación de la pérdida y la precisión de la función de pérdida
La pérdida en la tarea de regresión incluye principalmente
El papel de la función de pérdida
- La función de pérdida utilizada para evaluar el valor predicho del modelo y el valor real del nivel no es el mismo , la profundidad de aprendizaje y el tiempo de entrenamiento se calcula función de pérdida del modelo, actualice los parámetros del modelo para reducir la optimización del error, hasta que el valor de la función de pérdida o disminuyó para alcanzar el número objetivo de sesiones de entrenamiento.
- La función de pérdida utilizada por diferentes modelos es generalmente diferente. Cuanto mejor se establezca la función de pérdida, mejor será el rendimiento del modelo.
- La función de pérdida se puede personalizar
Comparación de la pérdida y la precisión de la función de pérdida
- En los problemas de clasificación , la precisión es más intuitiva e interpretable; para los problemas de regresión , la precisión no está disponible, solo la pérdida.
- La precisión no es diferenciable y no se puede utilizar directamente para el entrenamiento de la red, y el algoritmo de retropropagación requiere que la función de pérdida sea diferenciable
- La pérdida de la función de pérdida se puede diferenciar , el gradiente se puede calcular y los parámetros se pueden actualizar mediante retropropagación.
La pérdida en la tarea de regresión incluye principalmente
- Error cuadrático medio (MSE): MSE representa la suma de los cuadrados de la diferencia entre el valor predicho y el valor objetivo y luego el promedio
- Norma L2: la pérdida L2 representa la suma de los cuadrados de la diferencia entre el valor predicho y el valor objetivo y luego lo eleva al cuadrado L2 representa la distancia euclidiana.
- La tendencia de la curva de MSE y L2 es la misma. La diferencia es que uno busca el np.mean () promedio y el otro busca un np.sqrt () más cuadrado
El código de Tensorflow y Keras reflejan:
#tensorflow
tf.losses.mean_squared_error(
labels,
predictions,
weights=1.0,
scope=None,
loss_collection=tf.GraphKeys.LOSSES,
reduction=Reduction.SUM_BY_NONZERO_WEIGHTS
)
tf.metrics.mean_squared_error(
labels,
predictions,
weights=None,
metrics_collections=None,
updates_collections=None,
name=None
)
#keras
mean_squared_error(y_true, y_pred)- Error medio absoluto (MAE): MAE representa el valor absoluto de la diferencia entre el valor predicho y el valor objetivo y luego el promedio
- Norma L1: L1 representa el valor absoluto de la diferencia entre el valor predicho y el valor objetivo, L1 también se llama distancia de Manhattan
La diferencia entre MAE y L1 es que uno obtiene el valor medio np.mean () y el otro no calcula np.sum (). Las tendencias de la curva de los dos también son exactamente las mismas.
- El código de Tensorflow y Keras reflejan:
#tensorflow
tf.metrics.mean_absolute_error(
labels,
predictions,
weights=None,
metrics_collections=None,
updates_collections=None,
name=None
)
#keras
mean_absolute_error(y_true, y_pred)-
Comparación de MSE, MAE:
La pérdida de MAE es más robusta a los valores atípicos, pero su discontinuidad derivada hace que el proceso de búsqueda de la solución óptima sea ineficiente; la pérdida de MSE es sensible a los valores atípicos, pero es más estable y precisa en el proceso de optimización.
- Otra referencia de función de pérdida disponible:
https://zhuanlan.zhihu.com/p/58883095
Conocimientos suplementarios
El error absoluto medio MAE ( mean absolute error) y el error cuadrático medio de la raíz RMSE ( root mean squared error) son los dos indicadores más utilizados para medir la precisión de las variables, y también son dos escalas importantes para evaluar modelos en el aprendizaje automático.
1. Definición
El error absoluto promedio MAE ( mean absolute error) es el promedio de errores absolutos, que en realidad es una forma más general del promedio de errores.
o
El error cuadrático medio RMSE ( root mean squared error), también conocido como los datos RMSD, también puede medir el tamaño promedio del error. Es la raíz cuadrada del promedio de la diferencia al cuadrado entre el valor predicho y la observación real.
o
2. Comparación
El error cuadrático medio RMSE se ve más afectado por valores atípicos.
3. Aplicación
Cuando se trata de conjuntos de datos más grandes, no podemos verificar todos los valores para ver si hay uno o algunos valores atípicos, o si todos los errores son sistemáticamente mayores.
Solución: observar la proporción de MAE a RMSE puede ayudarnos a comprender si existen errores grandes pero poco comunes.
Materiales de referencia:
[1] https://zhuanlan.zhihu.com/p/58883095
【2】https://blog.csdn.net/u014421797/article/details/104689384
【4】https://blog.csdn.net/nanhuaibeian/article/details/102746602