Étant donné que les poids du modèle pré-formé et de l'ensemble de données que nous voulons former présentent certaines différences et que l'ensemble de données à former varie, il est important d'affiner le modèle et de définir des taux d'apprentissage différents. Discutez, veuillez corriger les erreurs ou les lacunes.
(1) Lorsque l'ensemble de données à former est petit et que la similitude avec l'ensemble de données du modèle pré-formé est élevée. Par exemple, lorsque les données de l'ensemble de données d'apprentissage existent dans le modèle pré-formé, il n'est pas nécessaire de recycler le modèle, seule la dernière couche de sortie doit être modifiée.
(2) Lorsque l'ensemble de données à former est petit et que la similitude avec l'ensemble de données du modèle pré-formé est faible. Vous pouvez figer les k premiers calques du modèle et recréer les nk derniers calques du modèle. Gelez la couche supérieure k du modèle pour compenser le plus petit ensemble de données.
(3) Lorsque l'ensemble de données à former est grand et que la similitude avec l'ensemble de données du modèle pré-formé est grande. L'utilisation d'un modèle pré-formé sera très efficace, en gardant la structure du modèle inchangée et le poids initial inchangé, et en recyclant le modèle
(4) Lorsque l'ensemble de données à former est grand et que la similitude avec l'ensemble de données du modèle pré-formé est faible. L'utilisation du modèle pré-formé n'aura pas beaucoup d'effet. Vous pouvez utiliser le modèle pré-formé ou non, puis vous recycler.
