機械学習の基本的な（機械学習のための基本的な「レシピ」）
私たちが話しているのレッスンでは、アルゴリズムの偏差や分散が高いかどうかを判断する方法は、ヘルプ私たちは訓練と検証セット・エラー・エラーによる最適化のパフォーマンスへの機械学習アルゴリズムではこれらの方法をより体系適用可能にします。
この図は、ニューラルネットワークを訓練に使用される私の基本的なアプローチである:(これらの方法は有用であるかもしれない、それは役に立たないかもしれ試してみてください）
偏差が高い場合、これは初期トレーニングが完了した後、私は、ニューラルネットワークモデルを訓練するときに使用する基本的な方法ですが、私は最初の偏差アルゴリズムGaobuガオを知りたい、トレーニングセットやトレーニングデータの性能を評価してみてください。偏差が実際に高い場合でもトレーニングセットに適合していない、あなたがしなければならない新しいネットワークを選択することで、例えば、ネットワーク要素より隠された層または非表示が含まれている、またはネットワークを訓練する、またはより高度をしようとするより多くの時間がかかります最適化アルゴリズムは、我々は、このセクションの後半についてお話します。また、それが無効になる可能性があり、他の方法が有用である可能性が試すことができます。
一つは、あなたがしようとしていることであるので、我々は、括弧、多分あなたは、この問題へのより適切な解決策に新しいネットワークアーキテクチャを見つけることができ、多くの異なる神経ネットワークアーキテクチャを参照しますが、それは有用である可能性がある、それは役に立たないかもしれませんが、通常、大規模なネットワークを使用すると、トレーニング時間を延長するのに役立ちます必ずしも有用ではありませんが、それは悪くはありません。学習アルゴリズムを訓練すると偏差が最小規格である、問題を排除するまで、私はこれらのメソッドをしようとし続けるあなたは、少なくともトレーニングセットにフィットすることができ、データを収めることができるまで、試行を繰り返しました。
ネットワークが十分な大きさであれば、それは多くの場合、良いことができ、トレーニングセットに合う画像がぼやけている場合は、限り、あなたはネットワークの規模を拡大することができるように、アルゴリズムは、絵に合わないかもしれないが、あなたは非常に基本的なエラーが発生していないと感じた場合誰かが、絵を伝えることができれば高い、より大きなネットワークを訓練、あなたは少なくとも良いフィットすることができるはず......訓練セット、または少なくともオーバーフィッティングトレーニングセットを装着することができます。偏差が許容値まで低減されると、問題がない分散を確認し、差異を評価するために、我々はパフォーマンスの検証セットを見たいと思って、私たちはトレーニングセットのパフォーマンスの理想から学ぶことができる分散が高い場合にも、理想的なパフォーマンスのセットを確認推測最善の解決策は、あなたがそれを行うことができれば、いくつかの助けがあるでしょうが、時には我々は、この私たちに、私たちはまた、オーバーフィッティングの正則を削減しようとすることができ、より多くのデータを得ることができない、より多くのデータを使用することですレッスンは話します。時には、我々は再び試してみていますが、より適切なフレームワークニューラルネットワークを見つけることができるかどうか分散とバイアスを削減しながら、時にはそれは、一石二鳥かもしれません。どのようにそれを達成するには？システムでは、低スキュー、低分散フレームワークを見つけるまで、短いで、常にあなたは成功するだろう、試みを繰り返して、練習は困難であると言うしたいと思います。
あなたの注意には、2つのポイントがあります。
まず、高バイアスおよび高分散は、二つの異なる例は、我々は完全に異なる場合がありますしようとするために従う方法は、私は通常、その結果に基づいて一部を選択しようと、その後、偏差や分散に問題があるかどうかを診断するための検証セットの学習アルゴリズムを使用して、あります方法。例えば、アルゴリズムは、高い偏差問題の存在であるならば、実際には、より多くのトレーニングデータの準備は無用である、少なくとも、これは、より効果的な方法ではありません、我々は問題をクリアする必要があり、バイアスや分散、または両方の質問で、それ明らかにそれは、私たちは、最も効果的な方法を選択するのに役立ちます。
私たちが試みることができる多くの方法があるので、第二には、機械学習の初期段階で、いわゆるバイアス分散トレードオフの議論は、珍しいことではありません。偏差を増やすことができ、分散化も偏差、分散の増加を抑えることができますが、学習の深さの初期段階で、多くの我々は他に影響を与えません偏差や分散を低減するための唯一のツールを行うことができない存在です。しかし、ビッグデータと学習の深さ、現在の時代に限り、それだけではなく、これらの2つの場合である限り、より多くのデータの準備ができているとして、より大きなネットワークの継続的な研修として、我々はそれが通常のビルドaに限り、定期的に適度として、そして、そうであると仮定しますより大きなネットワークは、より多くのデータの使用は、多くの場合、あまりにも多くのバイアスに影響を与えると同時に、分散を減らすことができますが、同時に、偏差は分散には影響を与えません削減、ことができるようになります。やるべきことこの2段階の実用的な作業は次のとおりです。ネットワークを選択するか、より多くのデータを準備するために、ネットワークを訓練するために、我々は今、他にはあまりにも多くの副作用を生成しませんがツールは、偏差や分散を減らすために行うことができますがあります。私は、これは深い学習のための重要な理由は、大きな利点教師あり学習だと思いますが、また、我々はバイアスと分散を両立する方法のための1つの重要な理由にあまり焦点を持っていないが、時には我々は他を大きくすることなく、偏差や分散を減らすために多くのオプションを持っています。最終的に、我々は非常に標準化されたネットワークを取得します。次の授業の初めから、我々は、正則を説明していない事実上マイナスの影響を与える大規模なネットワークを訓練しますが、主に大規模ニューラルネットワークの計算時間のみのトレーニングのコストは、ネットワークをより標準化されていることを提供します。
今日は、組織を通じて、機械学習の偏りと分散を診断し、問題を解決するために、正しい行動を選択する方法の基本について話を、私はあなたが理解し、知っている願っています。私は正則は、偏差がわずかに増加するとき、分散トレードオフはネットワークが十分な大きさであれば、増加は通常、高すぎないか、ゆがんで行くばらつきを低減するための非常に実用的な方法であり、正則の過程で複数回言及しましたその後、私たち次のレッスンと私たちはより良いニューラルネットワーク正則を実装する方法を理解するように、細部に入ります。
コースPPT
