事前トレーニング済みモデルを使用してモデルを微調整する方法(特定のレイヤーのフリーズ、レイヤーごとに異なる学習率の設定など)

事前トレーニング済みモデルとトレーニングするデータセットの重みには一定の違いがあり、トレーニングする必要のあるデータセットは大小があるため、モデルを微調整して異なる学習率を設定することがより重要です。以下は主に4つのケースに分けられます。議論してください、間違いや欠点を修正してください。
(1)訓練されるデータセットが小さく、事前訓練されたモデルのデータセットとの類似性が高い場合。たとえば、トレーニングデータセットのデータが事前トレーニング済みモデルに存在する場合、モデルを再トレーニングする必要はなく、最後の出力レイヤーのみを変更する必要があります。
(2)トレーニングされるデータセットが小さく、事前トレーニング済みモデルのデータセットとの類似性が小さい場合。モデルの最初のkレイヤーをフリーズして、モデルの後ろのnkレイヤーを再作成できます。モデルの上位kレイヤーをフリーズして、小さいデータセットを補正します。
(3)訓練されるデータセットが大きく、事前訓練されたモデルのデータセットとの類似性が大きい場合。事前トレーニング済みモデルの使用は非常に効果的で、モデル構造を変更せずに初期の重みを変更せず、モデルを再トレーニングします
(4)トレーニング対象のデータセットが大きく、事前トレーニング済みモデルデータセットとの類似性が小さい場合。事前トレーニング済みモデルを使用してもあまり効果はありません。事前トレーニング済みモデルを使用するかどうかにかかわらず、再トレーニングできます。

元の記事を36件公開しました 賞賛されました1 訪問6384

おすすめ

転載: blog.csdn.net/qq_34291583/article/details/105328711