開発セットとテストセットのサイズ
最後のビデオでは、開発セットとテストセットを同じディストリビューションから取得する必要がある理由を知っていますが、それらはどれくらいの大きさでなければなりませんか？ディープラーニングの時代になると、開発セットとテストセットをセットアップするためのガイドラインも変わります。では、いくつかのベストプラクティスを見てみましょう。
経験則を聞いたことがあるかもしれませんが、機械学習では、取得したすべてのデータを70/30の比率でトレーニングセットとテストセットに分けます。または、トレーニングセット、開発セット、およびテストセットをセットアップする必要がある場合、60％のトレーニングセット、20％の開発セット、20％のテストセットを分割します。機械学習の初期の頃は、特に以前のデータセットのサイズがはるかに小さかったため、この分割はかなり合理的でした。したがって、合計100個のサンプルがある場合、70/30または60/20/20ポイントの経験則はかなり合理的です。数千のサンプルまたは10,000のサンプルがある場合でも、これらの方法は妥当です。
しかし、現代の機械学習では、はるかに大きなデータセットを操作することに慣れています。たとえば、100万のトレーニングサンプルがある場合、このスコアはより妥当かもしれません。98％はトレーニングセット、1％は開発セット、1％はテストですセット、使用 と 開発とテストセットを表す略語。100万個のサンプルがある場合、1％は10,000個のサンプルであり、開発セットとテストセットにはこれで十分な場合があります。したがって、現代のディープラーニングの時代には、はるかに大きなデータセットがある場合があるため、開発セットとテストセットとしてデータの20％未満または30％未満を使用するのが妥当です。また、ディープラーニングアルゴリズムにはデータに対する強い欲求があるため、大規模なデータセットには問題があり、データの比率が高くなるとトレーニングセットに分割されるため、テストセットについてはどうでしょうか。
テストセットの目的はシステム開発を完了することであり、テストセットは本番システムのパフォーマンスを評価するのに役立ちます。ポリシーは、テストセットを十分に大きくして、システムの全体的なパフォーマンスを高い信頼度で評価することです。したがって、最終的な生産システムの非常に正確な指標が必要でない限り、通常、テストセットには数百万の例は必要ありません。あなたのアプリケーションでは、多分あなたは思うかもしれませんが、10,000の例はパフォーマンス指標を与えるのに十分な自信を与えるでしょう、おそらく100,000または何かで十分かもしれません。この数は、例えば全体的なデータよりもはるかに小さいかもしれませんセットの30％は、データの量に依存します。
一部のアプリケーションでは、システムパフォーマンスの信頼性の高い評価が必要ない場合や、トレーニングセットと開発セットのみが必要な場合があります。テストセットを個別に分けなくても大丈夫だと思います。実際、実際には、トレーニングセットとテストセットだけに分かれる人もいます。実際にはテストセットで繰り返されるため、ここにはテストセットがありません。トレーニングセットと開発セットはありますが、テストセットはありません。このセット、この開発セット、またはこのテストセットを実際にデバッグする場合、これを開発セットと呼ぶのが最適です。
しかし、機械学習の歴史では、誰もが明確な用語の定義を持っているわけではなく、開発セットは実際にはテストセットと見なされるべきだと言う人もいます。ただし、トレーニングするデータ、デバッグするデータしかない場合。テストセットに関係なく、最終的なシステムを直接展開する予定なので、実際のパフォーマンスについてあまり気にしないでください。これも非常に良いことだと思います。トレーニングセットと開発セットと呼んでください。次に、テストセットがないことを明確にします。これは少し異常ですか？システムをセットアップするときにテストセットを省略することは絶対にお勧めしません。安心できる別のテストセットがあるからです。これは、このデータのセットを偏差なしで使用して、システムのパフォーマンスを測定できるためです。ただし、開発セットが非常に大きいため、開発セットを過度に適合させない場合、この場合、トレーニングセットとテストセットのみが完全に不合理ではありません。ただし、私は通常これをお勧めしません。
要約すると、ビッグデータの時代の古い経験則では、この70/30はもはや適用されません。大量のデータをトレーニングセットに分割し、少量のデータを開発セットとテストセットに分割することが一般的になりました。特に、非常に大きなデータセットがある場合はそうです。以前の経験則では、実際には、開発セットがその目的を達成するのに十分な大きさであることを確認し、さまざまなアイデアを評価してから、 やはり 良いです。テストセットの目的は、最終的なコストの偏差を評価することです。この評価に使用できる十分な大きさのテストセットを設定するだけで済みます。合計データ量の30％未満で十分な場合もあります。
したがって、このビデオが、ディープラーニングの時代に開発セットとテストセットをセットアップする方法を説明するための小さなガイダンスとアドバイスを提供してくれることを願っています。次に、機械学習の問題を調査する過程で、評価指標を変更したり、開発セットとテストセットを変更したりする必要がある場合があります。その必要がある場合について説明します。
コース黒板
