Directorio

Conceptos básicos: cálculo de la probabilidad común de HMM
Descripción general de la solución de parámetros del modelo HMM
Principio del algoritmo de Baum-Welch
Derivación del algoritmo de Baum-Welch
Resumen del algoritmo de Baum-Welch

1. Conceptos básicos: cálculo de probabilidad común de HMM

Usando las probabilidades hacia adelante y hacia atrás, podemos calcular la fórmula de probabilidad para un solo estado y dos estados en el HMM.

1.1 Probabilidad de un solo estado

Dado el modelo λ y la secuencia de observación Q, la probabilidad de estar en el estado si en el tiempo t se escribe como:

La importancia de la probabilidad de un solo estado se usa principalmente para juzgar el estado más probable en cada momento, de modo que se pueda obtener una secuencia de estado como resultado final de la predicción.

Usando la definición de probabilidad hacia adelante y hacia atrás, podemos saber:

De las dos expresiones anteriores:

1.2 Probabilidad conjunta de dos estados

Dado el modelo λ y la secuencia de observación Q, la probabilidad de estar en el estado si en el tiempo t y estar en el estado sj en el tiempo t + 1 se escribe como:

1.3 Se pueden obtener las dos sumas anteriores:

2. Descripción general de la solución de parámetros del modelo HMM

　　En este artículo discutiremos el problema de resolver los parámetros del modelo HMM, es decir, la secuencia de observación conocida Q = {q1, q2, ..., qT}, y los parámetros estimados del modelo λ = (A, B, π), de modo que en el modelo La siguiente secuencia de observación P (Q | λ) es la más grande . Este problema es el más complicado de los tres problemas de HMM. Antes de investigar este problema, se recomienda leer los dos primeros artículos de esta serie para familiarizarse con el modelo HMM y el algoritmo HMM hacia adelante y hacia atrás, así como el resumen del principio del algoritmo EM

La solución de parámetros del modelo HMM se puede dividir en dos casos según las condiciones conocidas. El primer caso es relativamente simple, es decir, conocemos secuencias de observación D de longitud T y las secuencias de estado ocultas correspondientes, y utilizamos directamente la conclusión del teorema de los números grandes "el límite de frecuencia es la probabilidad" para dar directamente las estimaciones de los parámetros HMM;

1.1 Suponiendo que el recuento de frecuencia del estado oculto inicial de qi en todas las muestras es S (i), entonces la distribución de probabilidad inicial es:

1.2 Suponiendo que el recuento de frecuencia de la muestra desde el estado oculto qi a qj es S ij, entonces la matriz de transición de estado se obtiene como:

1.3 Suponiendo que el estado oculto de la muestra es qj y el recuento de frecuencia del estado de observación es vk es q jk, entonces la matriz de probabilidad del estado de observación es:

Se puede ver que resolver el modelo en el primer caso sigue siendo muy simple. Pero en muchos casos, no podemos obtener la secuencia oculta correspondiente a la secuencia de observación de la muestra HMM , solo D secuencias de observación de longitud T, ¿podemos encontrar los parámetros del modelo HMM apropiados en este momento? Esta es nuestra segunda situación y el enfoque de nuestro artículo. La solución más utilizada es el algoritmo Baum-Welch (Baum-Welch), que en realidad se basa en el algoritmo EM. Sin embargo, en la era del algoritmo Baum-Welch, el algoritmo EM no se ha abstraído, por lo que todavía Diga el método del algoritmo Baum-Welch. Esto también nos recuerda que abstraer un algoritmo específico también puede ser un proyecto muy importante.

Tres, principio del algoritmo de Baum-Welch

En el paso M, maximizamos la fórmula anterior y luego obtenemos los parámetros del modelo actualizados de la siguiente manera:

4. Derivación del algoritmo de Baum-Welch

Primero debemos calcular la expresión de la distribución conjunta P (Q, I; λ) de la siguiente manera:

La expresión esperada obtenida en el paso E es:

En el paso M, la fórmula anterior se debe maximizar:

Nos fijamos en la derivación del parámetro modelo Π. Como Π solo aparece en la primera parte de los paréntesis en la fórmula anterior, nuestra fórmula de maximización para Π es: