función de pérdida de entropía cruzada (cross Entropía)

  Nos algoritmo de regresión logística introducida en la función de entropía cruzada, pero la última vez, no hice una explicación detallada de la función de pérdida de entropía cruzada. Aquí en la lista. función de pérdida es también llamada la función de error, una medida del funcionamiento del algoritmo. En la clasificación, y se correlacionó positivamente con el número de errores de clasificación, más errores de clasificación, mayor será la pérdida.
  Nos dibujan en la regresión logística, la entropía cruzada, él dijo en ese momento que si una sub-categoría equivocada, generará pérdidas. $J (θ) = \ hat ylny + (1- \ hat y) ln (1-y)$ , se puede ver esta fórmula, si usted predice la categoría 1 se clasifica como 1, no producirá la pérdida, la empatía, la categoría se prevé para la categoría 0 hasta 0 no generará pérdidas, además después de la pérdida de errores de clasificación es el resultado de una función, se genera una pérdida.
  Sin embargo, predijo resultados $\hat y$En realidad, es un valor de probabilidad, no puede ser estrictamente iguales a 0 ó 1, en circunstancias normales seguirá generando pérdidas, pero esta función garantiza que, cuando la categoría de verdad y = 1, la probabilidad de cierre prevista para la categoría 1 real, el error resultante es pequeña , mientras que y = 0, la probabilidad predicha de la categoría 1, menor es el error. Tras el análisis de este particular y = 0 e y = 1 se pone en el caso del análisis de la pérdida a cabo fácilmente.
  Además, como una función de pérdida en general tiene una característica, si se requiere el uso de un descenso de gradiente (incluyendo propagación hacia atrás) algoritmo de series de tiempo, generalmente hay un requisito de que la función es una función convexa (cóncava), que es la base de la optimización convexa, y esto significa que la segunda derivada de la función de pérdida requiere negativa constante (siempre positivo).
  Podemos calcular una pérdida para cada muestra de entrenamiento, si ponemos toda la suma pérdidas de muestras para obtener la pérdida de todo el conjunto de datos. Nuestro objetivo es hacer que toda la pérdida se reduce al mínimo, tanto más precisas las predicciones de nuestro modelo. Pero, de hecho, una gran cantidad de pérdida de función cumple esta función, pero ¿por qué una debilidad por regresión logística de las pérdidas de entropía cruzada? Este problema se puede ver directamente deriva.
  Debido a que se utilizó regresión logística para hacer una probabilidad sigmoide normalizado, por lo que hacemos probabilidad de pérdida de salida, entonces la pérdida de propagación de nuevo a los parámetros, el equivalente de hacer una función compleja.

  Esta descripción se deriva Aunque utilizamos la pérdida de entropía cruzada y sigmoide probabilidad predicha normalizó a hacer, estas dos funciones son más complejas, pero después de las dos funciones se combinan, tenemos que actualizar el parámetro θ cuando, por derivado θ descubrir que es muy simple, por lo que cuando el descenso de gradiente, ahorrar un montón de cálculos complejos. Esto también explica por qué la pérdida sigmoide y entropía cruzada es tan coincide.