NTU Li Hongyi Machine Learning 2020研究ノート（1）：機械学習の概要

序文

昨年、国立台湾大学の李洪義先生の機械学習2019を聞いて、先生の話がとても上手だと感じました。今年は、機械学習2020を注意深く聞いて、完全にメモする予定です。序文にはたくさん書いています。

機械学習の意味合い

機械学習は、機械に機能を自動的に見つけさせることです。たとえば、音声認識は機械に機能を見つけさせることであり、入力は音声信号であり、出力は対応するテキストです。次のゲームでは、マシンは関数を見つけるように求められます。入力は現在のボード上の白黒の位置であり、出力は次のステップの位置です。

機械学習タスク-機械に見つけてほしい機能

回帰

出力は数値です。住宅価格など、PM2.5予想。

バイナリ分類（バイナリ分類）

出力には、正または負の2つの可能性しかありません。

マルチクラス分類

現在の入力が指定されたN個のカテゴリに属する確率値を出力し、N個の確率値のうち最大のものに対応するカテゴリを正解とします。

世代

出力は構造化されており、複雑です。翻訳、ドローイングなど。

機械学習分類-必要な機能を機械に伝えます

教師あり学習

マシンが各入力に対して理想的な答えを与えることが期待される場合、それは教師付き学習を含み、分類と回帰は両方とも教師付き学習です。教師あり学習では、マシンデータだけでなく、次の図（コースプレゼンテーションから引用）に示すように、予想される正解であるラベルも指定する必要があります。ここで、xは入力画像で、yはラベルです。

強化学習（強化学習）

物事を成し遂げるための多くのステップがあるが、各ステップを正しく処理する方法をマシンに伝えたくない、またはできない場合は、強化学習を使用できます。機械を単独でまたは他の人と一緒にプレイして、最終的な結果を取得します。機械が正常に完了すると、報酬が与えられ、完了しない場合は罰せられます（報酬と罰は、モデルパラメーターを更新する2つの方法です）。機械が学習する最後のことは、各ステップについて、良い結果が得られる確率を最大化するために何をすべきか。alphaGOは教師あり学習と強化学習の製品であり、そのアップグレード版alphaGO zeroは完全な強化学習の製品です。

教師なし学習

大量のデータがあるが、事前の知識がなければラベルを付けることができない、またはラベルを付けることが難しいが、データの構造を取得したい場合、教師なし学習が必要です。教師なし学習の典型的な例は、クラスタリングです。

関数スコープ-関数構造

現在の機械学習では、機械が薄い空気からより良い関数を生成する必要はありませんが、機械に関数構造（特定の関数セット）を与え、より良いパラメーターのセットを学習させる必要があります。次に、マシンは、このパラメーターのセットによって決定される関数を介して、指定されたタスクをよりよく完了できます。SVM、線形関数、CNNおよびRNNはすべて関数構造であり、関数構造はマシンが検索できる関数の範囲を決定します。次の図は、CNNの典型的な構造です。

最高の関数勾配降下（勾配降下）を取得するための典型的な方法

モデル（他の関数と区別するために、モデルをここで置き換えます）が最適であること、つまり損失関数（損失関数）が最小であることを願っています。勾配方向は、関数値が最も速く変化する方向です。多変量関数は、各変数の勾配を見つけて、関数値の変化に対する各変数の変化の寄与を決定し、関数値が最も速くなるように各変数をどのように変化させるかを決定しますレートは最小に減少します。現在の損失関数値に従って、各変数の現在の損失関数の勾配値を計算し、損失関数値を減らすことができる方向に各変数の値を更新すると、勾配降下を達成できます（勾配値には更新された振幅と方向の情報）。損失関数の値を小さくすると、モデルが最適化されます。

最先端の研究

解釈可能なAI（説明可能なAI）

機械学習で特定の操作を実行できることはわかっていますが、それがなぜ実行できるのかは明らかではありません。Li Hongyi先生の説明は次のとおりです。たとえば、分類システムは写真上で猫を識別できますが、写真内に猫がいると考える理由はわかりません。この説明には問題があると思います。私たち自身が写真の中に猫を見たからです。猫がそこにいるので、その理由を説明することはできません。説明の背後には実際には数学と物理学のサポートがあり、物理学と数学の解釈はアルゴリズムをより説得力のあるものにすることができます。

敵対的攻撃

現在の機械学習システムは一般的に干渉に対して堅牢ですが、干渉が人為的に追加された場合はどうなりますか。肉眼では見えない人工的に設計された干渉攻撃によっては、マシンが間違った判断をする可能性があります（トレーニングされたモデルをだます）これは、反撃研究の内容です。

ネットワーク圧縮

現在のディープニューラルネットワークは、数億のパラメータと数千万の接続を備えており、非常に大きく、サーバーまたはより優れたGPUでのみ完全に実行できます。ネットワーク圧縮で必要なことは、ネットワークボリュームを圧縮して、携帯電話やさらに小さなデバイスに適応できるようにすることです。

異常検出

テスト入力が、システムがそれを見たことがない、システムが学習したことをランダムに出力する、または知らずにそれを出力するというものである場合、これは異常検出調査の内容です。たとえば、システムは猫を見たことがありませんが、犬、キツネ、またはクマを見たことがあります。猫に遭遇した場合、それは犬、キツネ、またはクマであるか、それが何であるかわからないということですか。コースプレゼンテーションから引用。

ドメイン敵対的学習

テスト入力とトレーニングセットの分布（分布）が異なる場合、システムが依然としてより良いパフォーマンスを発揮できるかどうかは、ドメイン敵対学習の内容です（翻訳方法がわからない）。次の図（コースプレゼンテーションから引用）に示すように、手書き数字認識のトレーニングセットが白黒の画像であるにもかかわらず、テストがさまざまな色のデータである場合、結果が壊れないようにする方法。

メタ学習

メタ学習とは、機械に学習を学習させることです。つまり、機械には学習能力があります。Li Hongyi先生の説明は次のとおりです。マシンが過去に特定のスキルを取得できるのは、人々がそのアルゴリズムを設計し、多くのトレーニングを通じてマシンがその能力を持っているためです。メタ学習は、機械がタスクに直面したときに人間の設計よりも優れたアルゴリズムを発明できるようにすることを目的としています。必要なのは、機械学習能力を与えることです（少し抽象的です。後でここで説明を完成させるために学習します）。。さらに、メタラーニングの理由は、人工的に設計されたアルゴリズムが「愚か」になり、人々がそれをよりスマートにしたいということです。次の図（LakeEtAlBBSから引用）に示すように、小さなゲームの結果は同じスコアに達します。マシンは強化学習によって900時間必要です（マシンランタイムではなくリアルタイムで置き換えられます）一方で、人間は2時間しか必要ありません。人工的に設計されたアルゴリズムは十分に効率的ではないためです。

生涯学習

人々にとって、この言葉はとてもおしゃれな言葉でもあります。生涯学習とは、機械が複数のタスクを学習し、1つのタスクを教えることができ、それがタスクになることを期待することです。それは私たちの脳のように感じられ、これは非常に困難であり、数万年の進化はカバーされていません。下の画像はコースプレゼンテーションから取得したものです。