トレーニング/開発/テスト配布
トレーニングセット、開発セット、テストセットの設定方法は、機械学習アプリケーションの構築を進めるための速度に大きく影響します。同じチームでも、大企業のチームであっても、これらのデータセットのセットアップ方法を速めるのではなく、チームの進行を実際に遅くします。チームの効率を最大化するためにこれらのデータセットをどのように設定するかを見てみましょう。 。
このビデオでは、私が開発して設定する方法に焦点を当て、テストセットしたい、開発（DEV）も収集開発セット（と呼ばれる開発SET）、時々 、予約クロスバリデーションセット（と呼ばHOLD SET OUTクロスバリデーション）。次に、機械学習のワークフローは、多くのアイデアを試し、トレーニングセットを使用してさまざまなモデルをトレーニングし、開発セットを使用してさまざまなアイデアを評価し、1つを選択して、反復して、最後まで開発セットのパフォーマンスを改善します。満足のいくコストが得られ、テストセットを使用して評価できます。
たとえば、猫の分類子を開発し、米国、英国、その他のヨーロッパ諸国、南米、インド、中国、その他のアジア諸国、オーストラリアで運用している場合、開発セットをどのように設定すればよいでしょうか。テストセットはどうですか？
1つは、4つを選択できることです。私はこれら4つ（最初の4つ）を使用する予定ですが、ランダムに選択された領域にすることもでき、これら4つの領域のデータが開発セットを構成すると言います。次に、他の4つの領域については、これら4つ（最後の4つ）を使用するか、ランダムに4つを選択します。これらのデータがテストセットを構成します。
この例では、開発セットとテストセットが異なるディストリビューションのものであるため、このアイデアは非常に悪いことがわかります。これを行わないことをお勧めしますが、開発セットとテストセットを同じディストリビューションから取得するようにしてください。つまり、覚えておく必要があります。それは、開発セットと1つの実際の評価指標を設定するようなものだと思います。それは、目標を設定し、チームが目標を達成していることを伝えるようなものです。このような開発セットとインジケーターを確立したら、チームはすばやく繰り返し、さまざまなアイデアを試し、実験を実行できます。開発セットとインジケーターをすばやく使用して、さまざまな分類子を評価してから、最適なものを選択することができます。したがって、機械学習チームは通常、さまざまな方法を使用してターゲットにアプローチし、次に継続的に反復してブルズアイにアプローチし続けることに長けています。したがって、開発セットのインジケーター用に最適化されています。
次に、左側の例では、開発セットとテストセットを設定するときに問題が発生しています。開発セットでチームが繰り返し最適化を行うのに数か月かかる場合があります。テストセットでシステムを最終的にテストすると、これら4か国または次の4つの地域からのデータ（つまり、テストセットのデータ）と開発セットのデータは非常に異なる可能性があるため、「サプライズサプライズ」を享受して、非常に長い月数がかかったことがわかる場合があります。開発セットの最適化に費やされた時間ですが、テストセットでは十分に機能しませんでした。したがって、開発セットとテストセットが異なるディストリビューションからのものである場合、目標を設定し、チームに数か月かけてブルズアイに到達するように依頼するようなものです。その結果、数か月の作業の後、「待って」と言うことがわかります。 、テスト中に「ここにターゲットを移動したい」とチームは言うかもしれません。「では、なぜ何ヶ月もかけてブルズアイに近づくのに、なぜブルズアイを別の場所に移動させることができるのですか。場所？」
したがって、この状況を回避するために、すべてのデータをランダムに開発セットとテストセットにシャッフルして、開発セットとテストセットに8つの領域のデータがあり、開発セットとテストセットが両方であることをお勧めします同じ分布から、この分布はすべてのデータが混合されたものです。
これは別の例です。これは本当の話ですが、一部の詳細が変更されています。そのため、中所得の郵便番号のローン承認データを含む開発セットの最適化に数か月を費やした機械学習チームがいることを知っています。次に、特定の機械学習の問題は、 はローン申請です。出力を予測できますか 、 彼らはローンを返済する能力を持っていますか？したがって、このシステムは銀行がローンを承認するかどうかを判断するのに役立ちます。つまり、開発セットはローン申請から来ています。これらのローン申請は中所得の郵便番号から来ています。郵便番号は米国の郵便番号です。しかし、これに関する数か月のトレーニングの後、チームは突然、低所得の郵便番号データでテストすることを決定しました。もちろん、この分布データの中間所得と低所得の郵便番号データは大きく異なり、前のデータセットの分類子を最適化するために多くの時間を費やしているため、後のデータセットではシステムパフォーマンスが低下しています。そのため、この特定のチームは実際には3か月を浪費し、多くの作業を行うために戻ってくる必要がありました。
コースPPT
