Directorio de artículos
Definición de validación cruzada
Cuando se utiliza un determinado conjunto de datos para entrenar el modelo, la situación de entrenamiento real del modelo se verá directamente afectada por el conjunto de datos, y el resultado del entrenamiento real es difícil de determinar, y es muy probable que ocurra un ajuste insuficiente y excesivo. El ajuste insuficiente generalmente significa que el modelo tiene un entrenamiento insuficiente en el conjunto de datos y, por lo tanto, tiene un desempeño deficiente tanto en el conjunto de datos de entrenamiento como en el conjunto de datos de prueba. tiene un rendimiento deficiente en aplicaciones y conjuntos de datos de prueba. Si el modelo muestra un ajuste insuficiente se puede ver directamente a partir del rendimiento del modelo en el conjunto de datos de entrenamiento, y si hay un ajuste excesivo necesita usar el conjunto de datos de prueba para verificar el modelo, por lo general, cuando se usa un determinado Después de entrenar el conjunto de datos , este modelo debe aplicarse a otro conjunto de datos con la misma estructura de datos. Si el efecto de la aplicación de este modelo en el nuevo conjunto de datos es excelente, el entrenamiento de este modelo se considera exitoso.
Debido a que en el proceso de investigación real, el uso de dos conjuntos de conjuntos de datos con la misma estructura de datos pero diferente información de datos específicos para realizar experimentos relacionados aumentará la complejidad del experimento, por lo que los conjuntos de datos que deben probarse generalmente se agrupan y forman una parte. El conjunto se utiliza como conjunto de datos de entrenamiento para entrenar el modelo, y la parte restante del conjunto de datos se usa como conjunto de datos de prueba para verificar el modelo entrenado. Este método de verificación se denomina validación cruzada (Validación cruzada, denominada CV). Este método se utiliza principalmente para estimar la precisión del modelo entrenado en la predicción o clasificación de datos reales, a fin de juzgar la generalidad del modelo. la capacidad de transformación es excelente. La validación cruzada puede evaluar el rendimiento del modelo entrenado para determinar el modelo con mejor rendimiento en este conjunto de datos.Además, también puede reducir el sobreajuste y el ajuste insuficiente del modelo a los datos hasta cierto punto. información de los datos.
Hay cuatro métodos principales de validación cruzada comúnmente utilizados en la actualidad, son la validación de submuestreo aleatorio (método de retención), la validación cruzada de K-fold (validación cruzada de K-fold), la validación cruzada de dejar uno fuera (dejar -validación cruzada one-out) y verificación de muestreo de autoservicio (Bootstrapping).
1. Verificación de submuestreo aleatorio
La verificación de submuestreo aleatorio se propuso antes que otros métodos de validación cruzada. Estrictamente hablando, la verificación de submuestreo aleatorio no hace un uso cruzado del conjunto de datos. Implica simplemente dividir el conjunto de datos original en dos grupos al azar. Un grupo sirve como El conjunto de datos de entrenamiento se usa para entrenar el modelo, y un conjunto se usa como conjunto de datos de prueba para el proceso de verificación del modelo. Este método es relativamente simple de operar y solo involucra la agrupación aleatoria de conjuntos de datos, pero cuando los conjuntos de datos se agrupan usando este método, la distribución de datos entre el conjunto de datos de entrenamiento y el conjunto de datos original o el conjunto de datos de prueba y los datos de entrenamiento conjunto puede ser Habrá una gran diferencia, por lo que es fácil hacer que el modelo entrenado funcione bien solo en el conjunto de datos de entrenamiento, pero tenga un rendimiento deficiente en el conjunto de datos de prueba, es decir, el resultado de verificación de los datos de prueba finales conjunto es muy diferente de la agrupación aleatoria del conjunto de datos gran relación. Debido a la existencia de los problemas anteriores, los resultados de verificación obtenidos por este método a veces no son convincentes.
2. Validación cruzada de K-fold
La validación cruzada de K-fold es un método mejorado sobre la base de la verificación de submuestreo aleatorio. A diferencia de la verificación de submuestreo aleatorio, este método divide el conjunto de datos original en K grupos de forma aleatoria y uniforme sin muestreo repetido, obteniendo así K subdatos. conjuntos. , y luego llevar a cabo el proceso de entrenamiento y prueba del modelo por K veces. En cada proceso de entrenamiento y prueba, uno de los K subconjuntos de datos se selecciona como el conjunto de datos de prueba del modelo, y los K-1 subconjuntos de datos restantes se utilizan como el conjunto de datos de entrenamiento del modelo, y luego se relacionan. se llevan a cabo experimentos para obtener la evaluación de verificación sobre el resultado del conjunto de datos de verificación. Finalmente, los resultados de la evaluación de verificación en los conjuntos de datos de prueba K se promedian para obtener los resultados finales de la evaluación de verificación.
Cuando se usa la validación cruzada de K-fold para verificar el rendimiento del modelo, cada dato de muestra en el conjunto de datos original se usa como conjunto de datos de entrenamiento y conjunto de datos de prueba, por lo que se puede evitar el sobreajuste en los resultados de verificación, lo cual es más convincente que la verificación aleatoria de submuestreos. Pero todavía tiene una deficiencia, es decir, no existe un método unificado para determinar el valor K. Generalmente, el valor K se establece en 2 solo cuando la cantidad de datos es pequeña, y el valor positivo de 3 o superior se selecciona en otras veces entero.
3. Validación cruzada de dejar uno fuera
La idea central del método de validación cruzada dejar uno fuera es la misma que la del método de validación cruzada K-fold, que permite que cada dato de muestra en el conjunto de datos se use como datos de entrenamiento y datos de prueba . La diferencia es que la validación cruzada de K-fold utiliza cada dato de prueba como un conjunto de datos, mientras que el método de validación cruzada de exclusión utiliza datos de una sola muestra.
Suponiendo que hay N datos de muestra en el conjunto de datos original, el modelo se entrenará y probará N veces. Durante cada proceso de entrenamiento y prueba, cada dato de muestra en el conjunto de datos original se seleccionará a su vez como datos de prueba para el proceso de prueba, y el resto de datos de muestra N-1 se utilizará como el conjunto de datos de entrenamiento para el proceso de entrenamiento, y finalmente se realiza el cálculo promedio en los N resultados de evaluación de verificación para obtener el resultado final de evaluación de verificación.
La mayor ventaja de este método es que todas las muestras se utilizan para el entrenamiento del modelo durante el proceso de validación cruzada, por lo que las características de distribución de las muestras del conjunto de datos de entrenamiento son las más cercanas al conjunto de datos de muestra original, y los resultados de la evaluación obtenidos sobre esta base son más confiable. Sin embargo, dado que cada dato de muestra se usa como datos de prueba a su vez, si el tamaño de muestra total N del conjunto de datos original es un valor grande, la cantidad de cálculo del modelo resultante y el tiempo de entrenamiento del modelo serán relativamente grandes, por lo que el costo del cálculo es relativamente grande más alto
4. Verificación de muestreo de autoservicio
La validación de muestreo Bootstrap es un método especial de validación cruzada que usa menos y generalmente se aplica a conjuntos de datos con una pequeña cantidad de datos. La característica más importante de este método es que el conjunto de datos de entrenamiento se selecciona del conjunto de datos original a través de un muestreo aleatorio con reemplazo, y los datos no seleccionados se utilizan como conjunto de datos de prueba. Cuando el conjunto de datos es pequeño, este método puede ayudar eficazmente a la datos de entrenamiento conjunto y conjunto de datos de prueba.
Suponiendo que hay N datos de muestra en el conjunto de datos original, entonces el conjunto de datos original se extraerá al azar N veces con reemplazo, y luego los N datos de muestra extraídos se usarán como el conjunto de datos de entrenamiento, y los datos de muestra no extraídos en el El conjunto de datos original será Los datos de muestra se utilizan como conjunto de datos de prueba En términos generales, cuando el valor de N se acerca al infinito, alrededor del 36,8 % de los datos de muestra se utilizan como conjunto de datos de prueba.
Usando este método, el conjunto de datos de entrenamiento final es exactamente del mismo tamaño que el conjunto de datos original, y el conjunto de datos de prueba representa aproximadamente 1/3 del conjunto de datos de entrenamiento, por lo que la relación de división entre el conjunto de datos de entrenamiento y los datos de prueba El conjunto es más razonable, pero una vez que los datos son demasiado grandes, la distribución de datos del conjunto de datos de entrenamiento tendrá una gran discrepancia con el conjunto de datos original, lo que tendrá un impacto relativamente grande en los resultados de verificación del modelo.
