Introducción al aprendizaje profundo (66) Redes neuronales recurrentes: búsqueda de haces

prefacio

El contenido principal proviene del enlace 1 del blog. Enlace 2 del blog. Espero que puedas apoyar mucho al autor.
Este artículo se usa para registros para evitar el olvido.

Redes neuronales recurrentes: búsqueda de haces

cursos

búsqueda codiciosa

En seq2seq usamos la búsqueda codiciosa para predecir la secuencia

• Muestra la palabra con la mayor probabilidad de predicción en el momento actual

Pero ser codicioso probablemente no sea óptimo:

búsqueda exhaustiva

Algoritmo óptimo: para todas las secuencias posibles, calcule su probabilidad y luego elija la mejor.
Si el tamaño del diccionario de salida es n, y la secuencia más larga es T, entonces necesitamos examinar nT secuencias

• n = 10000，T= 10: ${norte}^T=10^{40}$
• computacionalmente inviable

búsqueda de haz

Guardar los mejores k candidatos
En cada momento, añadir un nuevo ítem (n posibilidades) a cada candidato, y seleccionar los mejores k entre las kn opciones

Resumir

beam search guarda los k mejores candidatos en cada búsqueda

• Cuando k = 1, es una búsqueda codiciosa
• Búsqueda exhaustiva cuando k = n

Libro de texto

En la sección anterior, predijimos la secuencia de salida una por una hasta que apareció el token de finalización de secuencia específico " " en la secuencia predicha <eos>. Esta sección primero presentará 贪心搜索（greedy search）la estrategia y explorará sus problemas, y luego comparará otras estrategias alternativas: 穷举搜索（exhaustive search）y 束搜索（beam search）.

Antes de presentar formalmente la búsqueda voraz, definimos el problema de búsqueda utilizando la misma notación matemática que en la sección anterior. En cualquier momento paso $t^{\prime }$ , el decodificador genera$y_{t^{}}$La probabilidad de depende del paso de tiempo $t^{\prime }$ La subsecuencia de salida anterior$y_{},\dots ,y_{t^{\prime }-}$Y la variable de contexto c obtenida al codificar la información de la secuencia de entrada $do$ . Para cuantificar el costo computacional, use$Y$ representa el vocabulario de salida, que contiene "<eos>", por lo que la cardinalidad de este conjunto de vocabulario$|Y|$ es el tamaño del vocabulario. También especificamos el número máximo de tokens para la secuencia de salida como$T^{\text{'}}$ . Por lo tanto, nuestro objetivo es comenzar desde todo$O\left({|Y|}^{T^{\text{'}}}\right)$para encontrar la salida ideal entre las posibles secuencias de salida. Por supuesto, para todas las secuencias de salida,<eos>la parte posterior a " " (no esta oración) se descartará en la salida real.

1 búsqueda codiciosa

Primero, veamos una estrategia simple: la búsqueda codiciosa, que se usó para la predicción de secuencias en la sección anterior. Para cada paso de tiempo de la secuencia de salida, encontraremos el token con la probabilidad condicional más alta según la búsqueda codiciosa, a saber:
$$y_{t^{}}=\underset{y\in y}{}P(y|y_{},\dots ,y_{t^{\prime }-},c)$$

Una vez que la secuencia de salida contiene " <eos>" o alcanza su longitud máxima $T^{\text{'}}$ , la salida está completa.

Como se muestra en la figura, suponga que hay cuatro tokens "A", "B", "C" y "<eos>" en la salida. Los cuatro números debajo de cada paso de tiempo representan las<eos>probabilidades condicionales de generar "A", "B", "C" y " " en ese paso de tiempo respectivamente. En cada paso de tiempo, la búsqueda codiciosa selecciona el token con la probabilidad condicional más alta. Por lo tanto, la secuencia de salida "A", "B", "C" y " " se predecirá en el gráfico<eos>. La probabilidad condicional de esta secuencia de salida es$0.5\times 0.4\times 0.4\times 0.6=0.048$ .
Entonces, ¿cuál es el problema con la búsqueda codiciosa? En realidad,最优序列（optimal sequence）debería maximizarse${\prod }_{t^{\prime }=1}^{T^{}}P(y_{t^{}}|y_{},\dots ,y_{t^{\prime }-},c)$ La secuencia de salida de valores, que es la probabilidad condicional de generar la secuencia de salida basada en la secuencia de entrada. Sin embargo, la búsqueda codiciosa no puede garantizar la secuencia óptima.

Otro ejemplo en la imagen de arriba ilustra el problema. A diferencia de la figura anterior, en el paso de tiempo, elegimos el token "C" en la figura 2, que tiene la segunda probabilidad condicional más alta. Dado que la subsecuencia de salida en el paso de tiempo y en la que se basa el paso de tiempo ha cambiado de "A" y "B" en la Figura 1 a "A" y "C" en la Figura 9.8.2, cada paso de tiempo en Las probabilidades condicionales de fichas también se cambian en la Fig. 2. Supongamos que seleccionamos la palabra "B" en el paso de tiempo, por lo que el paso de tiempo actual se basa en las subsecuencias de salida "A", "C" y "B" de los primeros tres pasos de tiempo como condiciones, que es lo mismo que "A"" en la Figura 1 B" y "C" son diferentes. Por lo tanto, la probabilidad condicional de generar cada token en el paso de tiempo de la Figura 2 también es diferente de la de la Figura 1. Como resultado, la<eos>probabilidad condicional de la secuencia de salida "A", "C", "B" y " " en la figura 2 es$0.5\times 0.3\times 0.6\times 0.6=0.054$ , que es mayor que la probabilidad condicional de búsqueda codiciosa en la Figura 1. Este ejemplo muestra que la secuencia de salida "A", "B", "C" y "<eos>" obtenida mediante la búsqueda codiciosa no es necesariamente la mejor secuencia.

2 búsqueda exhaustiva

Si el objetivo es obtener la secuencia óptima, podemos considerar usar 穷举搜索（exhaustive search）: enumerar exhaustivamente todas las secuencias de salida posibles y sus probabilidades condicionales, y luego calcular la que tiene la probabilidad condicional de salida más alta.

Aunque podemos usar una búsqueda exhaustiva para obtener la secuencia óptima, pero la cantidad de cálculo $O\left({|Y|}^{T^{\prime }}\right)$puede ser sorprendentemente alto. Por ejemplo, cuando$|Y|=10000$ y$T^{\prime }=En\; 10$ , necesitamos evaluar$10000^{10}=10^{40}$ secuencia, este es un número enorme, y es casi imposible que las computadoras existentes lo calculen. Sin embargo, la cantidad de cálculo de la búsqueda codiciosa$O\left(|Y|T^{\prime }\right)$, que es significativamente menor que la búsqueda exhaustiva. Por ejemplo, cuando$|Y|=10000$ y$T^{\prime }=10$ , solo necesitamos evaluar$10000\times 10=10^5$ secuencias.

búsqueda de 3 haces

Entonces, ¿qué estrategia de búsqueda de secuencias debería elegir? Si la precisión es lo más importante, entonces, obviamente, una búsqueda exhaustiva. Obviamente, una búsqueda codiciosa si el costo computacional es lo más importante. La aplicación práctica de la búsqueda por haz se encuentra entre estos dos extremos.

束搜索（beam search）Es una versión mejorada de la búsqueda codiciosa. Tiene un hiperparámetro llamado 束宽（beam size）k. En el paso de tiempo 1, seleccionamos las k fichas con las probabilidades condicionales más altas. Estos k tokens serán los primeros tokens de las k secuencias de salida candidatas, respectivamente. En cada paso de tiempo posterior, en función de las k secuencias de salida candidatas del paso de tiempo anterior, procederemos desde $k|Y|$ elige las k secuencias de salida candidatas con las probabilidades condicionales más altas de las opciones posibles.

La figura de arriba demuestra el proceso de búsqueda de haz. Supongamos que el vocabulario de salida contiene solo cinco elementos: $Y=\{un,B,C,D,E\}$ , uno de los cuales es "<eos>". Establezca el ancho del haz en 2 y la longitud máxima de la secuencia de salida en 3. En el paso de tiempo 1, la hipótesis tiene la probabilidad condicional más alta$P(y_{}|$Los lemas de$c$$)\; son\; A\; y\; C.$En el paso de tiempo 2, calculamos todo$y_{}\in Y1$ :
$$\begin{array}{r}\begin{array}{r}PAG(Un,y_{}|c)=PAG(UN|c)P(y_{}|un,c),\\ P(C,y_{}|c)=P(C|c)P(y_{}|C,c)\end{array}\end{array}$$

Elige los dos más grandes de estos diez valores, como $PAG(Un,B|c)$和$P(C,mi|c)$ . Luego, en el paso de tiempo 3, calculamos todo$y_{}\in Y$ es:

$$\begin{array}{r}\begin{array}{r}PAG(Un,B,y_{}|c)=PAG(Un,B|c)P(y_{}|un,B,c),\\ P(C,mi,y_{}|c)=P(C,mi|c)P(y_{}|C,mi,c)\end{array}\end{array}$$

Elija los dos más grandes de estos diez valores, a saber, $PAG(Un,B,D|c)$和$P(C,mi,D|c)$ , obtendremos seis secuencias de salida candidatas: (1) A; (2) C; (3) A, B; (4) C, E; (5) A, B, D; (6) C, E , D.

Finalmente, en base a estas seis secuencias (por ejemplo, descartando <eos>la parte que incluye " " y después), obtenemos el conjunto final de secuencias de salida candidatas. Luego seleccionamos la secuencia en la que el producto de probabilidades condicionales es el más alto como la secuencia de salida:

$$\frac{}{L^a}iniciarsesiónP(y_{},\dots ,y_{}|c)=\frac{}{L^a}\sum _{t^{\prime }=1}iniciarsesiónP(y_{t^{}}|y_{},\dots ,y_{t^{\prime }-},c),$$

donde $L$ es la longitud de la secuencia candidata final,$\alpha$ generalmente se establece en$\mathrm{0,75}$ . Debido a que una secuencia más larga tendrá más términos logarítmicos en la suma de la fórmula anterior, entonces$L^{\alpha }$ se utiliza para penalizar secuencias largas.

El costo computacional de la búsqueda de haz es $O\left(k|Y|T^{\prime }\right)$, el resultado está entre la búsqueda codiciosa y la búsqueda exhaustiva. De hecho, la búsqueda codiciosa puede verse como un tipo especial de búsqueda de haz con un ancho de haz de 1. Al elegir de forma flexible el ancho del haz, la búsqueda del haz puede ofrecer un equilibrio entre la precisión y el coste computacional.

4 Resumen

• Las estrategias de búsqueda de secuencias incluyen búsqueda codiciosa, búsqueda exhaustiva y búsqueda de haz.

• La secuencia seleccionada por la búsqueda codiciosa tiene la menor cantidad de cómputo, pero la precisión es relativamente baja.

• La secuencia seleccionada por búsqueda exhaustiva tiene la mayor precisión, pero la mayor cantidad de cálculo.

• La búsqueda de haz hace un compromiso entre la precisión y el costo computacional al elegir de manera flexible el ancho del haz.