1.8なぜ人間のパフォーマンスなのか-ディープラーニングレッスン3「構造化機械学習プロジェクト」-スタンフォードウーエンダ教授

なぜ人間のパフォーマンスなのか（なぜ人間レベルのパフォーマンスなのか？）

ここ数年、機械学習システムと人間のパフォーマンスを比較する方法を議論する機械学習チームが増えています。

主な理由は2つあると思いますが、第一に、深層学習システムの進歩により、機械学習アルゴリズムが急に良くなった。機械学習の多くのアプリケーション領域で、人間のパフォーマンスを脅かすアルゴリズムが見られ始めています。次に、人間ができることを機械に実行させようとすると、機械学習システムのワークフローを注意深く設計してワークフローをより効率的にできるため、これらの状況では人間と機械を比較するのが自然です。機械に人間の行動を模倣させたい。

そのような例をいくつか見てみましょう。多くの機械学習タスクで、問題に多くの時間を費やしていると、 $バツ$軸は時間であり、数か月または数年になることもあります。この間、いくつかのチームや研究グループが問題を研究しており、人間レベルに向けて作業を始めると、進歩は非常に速くなります。しかし、しばらくすると、このアルゴリズムが人間よりもパフォーマンスが良くなると、進行と精度が遅くなります。多分それは良くなるでしょうが、人間のレベルを超えた後でも、それは良くなる可能性がありますが、パフォーマンスの増加率と精度の増加率の傾きはますます緩やかになるでしょう、私たちは皆達成したいと思っています理論上の最適パフォーマンスレベル。時間の経過とともに、アルゴリズムのトレーニングを続けると、モデルはより大きく、より多くのデータになる可能性がありますが、パフォーマンスは特定の理論上の上限を超えることはできません。これはベイズ最適エラー率（Bayes最適エラー率）と呼ばれます）。したがって、ベイジアン最適エラーレートは、理論的に可能な最適エラーレートであると一般に考えられています。つまり、 $バツ$から $y$の関数により、特定の精度を超えることができます。

たとえば、音声認識の場合、 $バツ$はオーディオクリップです。一部のオーディオは非常にうるさく、何と言っているかを知ることは基本的に不可能です。そのため、完全な精度は100％とは限りません。または、猫の画像認識の場合、人間または機械のいずれであっても、画像が非常にぼやけている場合があります。写真に猫がいるかどうかを判断することは不可能です。したがって、完全な精度は100％とは限りません。

ベイジアン最適エラー率は、ベイジアンと書かれることもあります。つまり、optimalを省略すると、 $バツ$から $y$マッピングの理論的な最適関数は決して超えられません。この紫色の線は、何年問題に取り組んだとしても、ベイズのエラー率、ベイズの最高のエラー率を超えることは決してありません。

実際には、機械学習は人間のパフォーマンスを超えるまでかなり速く進む傾向があることが証明されています。人間のパフォーマンスを超えると、進行が遅くなる場合があります。人間のパフォーマンスを超えると、進行が遅くなるのには2つの理由があると思います。その理由の1つは、人間のレベルが多くのタスクでベイズの最適なエラー率からそれほど離れていないことです。人々は、画像を見て、猫かディクテーションオーディオかを区別するのが非常に得意です。したがって、人間のパフォーマンスを超えると、改善の余地があまりない場合があります。しかし、2番目の理由は、パフォーマンスが人間のパフォーマンスよりも低い限り、実際にいくつかのツールを使用してパフォーマンスを改善できることです。人間のパフォーマンスを超えると、これらのツールは使いやすくなりません。

つまり、写真を見たり、音声を口述したり、言語を読んだりして物事を認識することなど、人間が非常に得意なタスクの場合、人間は通常、これらの自然なデータの処理が得意です。機械学習アルゴリズムが人間より劣っている限り、人間が得意とするタスクについては、人々にデータのタグを付けるのを手伝うことができます。人々に手伝ってもらうか、お金をかけてサンプルのタグを付けることができるので、より多くのデータを入手できます学習アルゴリズムに供給することができます。来週は人為的なエラー率の分析について説明しますが、人間のパフォーマンスが他のどのアルゴリズムよりも優れている限り、人間にアルゴリズム処理の例を見てもらい、エラーの場所を知らせ、人々が正しく実行できる理由を理解することができます。 、アルゴリズムが間違っています。来週目にするように、これはアルゴリズムのパフォーマンスを改善するのに役立ちます。偏差と分散をよりよく分析することもできます。それらについては後で説明します。しかし、アルゴリズムが人間よりも悪い限り、アルゴリズムを改善するためのこれらの重要な戦略があります。アルゴリズムが人間よりも優れていると、これらの3つの戦略を使用することは困難です。したがって、これは人間のパフォーマンスと比較して、特に人間がうまくやっているタスクでは、もう1つの利点になる可能性があります。

なぜ機械学習アルゴリズムは、人間ができることを模倣し、人間のパフォーマンスを超えて追いつくのに優れていることがよくあります。特に、偏差が何であるかを知っていても、分散とは何ですか。人間が特定のタスクでどれだけうまくできるかを知ることは、バイアスを減らすことを試みることに焦点を当てるべきか、分散を減らすことに焦点を合わせるべきかをよりよく理解するのに役立ちます。

コース黒板