Debido a que los pesos del modelo pre-entrenado y el conjunto de datos que queremos entrenar tienen ciertas diferencias, y el conjunto de datos que necesita ser entrenado es grande y pequeño, es más importante ajustar el modelo y establecer diferentes tasas de aprendizaje. Los siguientes se dividen principalmente en cuatro casos. Discuta, corrija los errores o defectos.
(1) Cuando el conjunto de datos a entrenar es pequeño y la similitud con el conjunto de datos del modelo pre-entrenado es alta. Por ejemplo, cuando los datos en el conjunto de datos de entrenamiento existen en el modelo pre-entrenado, no hay necesidad de volver a entrenar el modelo, solo la última capa de salida necesita ser modificada.
(2) Cuando el conjunto de datos a entrenar es pequeño y la similitud con el conjunto de datos del modelo pre-entrenado es pequeña. Puede congelar las primeras k capas del modelo y volver a crear las capas posteriores del modelo. Congele la capa superior-k del modelo para compensar el conjunto de datos más pequeño.
(3) Cuando el conjunto de datos a entrenar es grande y la similitud con el conjunto de datos del modelo pre-entrenado es grande. El uso de un modelo pre-entrenado será muy efectivo, manteniendo la estructura del modelo sin cambios y el peso inicial sin cambios, y reentrenando el modelo
(4) Cuando el conjunto de datos a entrenar es grande y la similitud con el conjunto de datos del modelo pre-entrenado es pequeña. El uso del modelo pre-entrenado no tendrá mucho efecto. Puede usar el modelo pre-entrenado o no, y luego volver a entrenar.
