バイアスと分散の意味
深層学習では、バイアスは予測値と実際の値の間の誤差を指し、分散はトレーニング データ セットの精度とテスト データ セットの精度の差として理解できます。次の表は、ニューラル ネットワークをトレーニングするときに考えられる結果を示しています。低い偏差と低い分散が期待される結果です。
| 1 | 2 | 3 | 4 | 5 |
|---|---|---|---|---|
| トレーニングセットエラー | 10% | 10% | 1% | 1% |
| テストセットエラー | 20% | 10.5% | 20% | 1.5% |
| 結果 | 高いバイアス、高い分散 | 高いバイアス、低い分散 | 低いバイアス、高い分散 | 低バイアス、低分散 |
それを下の図に示します。図 1 はアンダーフィッティングであり、高い偏差と低い分散として理解できます。図 3 はオーバーフィッティングで、低い偏差と高い分散として理解できます。これら 2 つの結果はどちらも最適ではありません。図 2 は、偏差と分散が低く、より適切に適合していると理解できます。
