「04」機械学習、深いニーズを学ぶ数学の知識？

ピットガイドを避けるために取得

自己三年間、道をリードするために基本的に誰も、私は自然にプロのターンが困難であり、彼は回り道をたくさんを通じて、数多くのピットを踏ん。ここで私はあなたの参考のために、自分自身のステップのピットをまとめます。

1.数学を学ぶためにゼロからスタートしていない 少し数学は、あなたがゼロから学ぶ必要はありませんではないだろうされていない場合、。微積分、線形代数、確率と統計が十分に上に行く、月にお過ごしください。私は数が高すぎるので、私は半年間を過ごしたので、勉強、あるいは数学的解析、機能解析と対策の理論このような材料を読んでいません。今振り返ってみると、実際には、知識のほとんどを取得し、本当にコストを沈めていないが、後でアルゴリズムのキャリアの中で使用されていないが、入力-出力比が高く、絶対ではありません。

そのため、強固な基盤を築くために、数学の分野にないオーバーありません。あなたがしたい場合は、その非常に良い例がある車を構築し、あなたは理論的な知識、技術と実践の20年を持っている必要がありますが。しかし、あなただけしたい場合は車を運転しますが、すぐに学ぶことができます。ドライバーとして、あなたは何ガソリンエンジンの原理を理解する必要がありますか？あなたは必要ありません。あなたが運転の車が、でも単にアクセスガソリンエンジン（電気自動車）が持っていない可能性があるため。

2.コードの境界線を横断する能力

私はコンピュータの知識の基礎となる科学的データを分離することはできません知っているので、私は、中学一年のすべての義務自習用コンピュータサイエンスを終えました。私はバックだけ導出式をたくさん見てきた、でもJVM仮想マシンが知っていることは何もありません。Pythonのに加えて、あなたは、このようなC / C ++、Javaなどの言語を、基礎となる少なくとも1-2扉を検討すべきです。

あなたの目標は、アルゴリズム、データ構造とアルゴリズム、コンピュータシステム、メモリの仕組み、ネットワークプログラミングを操作することである場合には、ジョブ指向の企業であるため、また、ビッグデータフレームワークはまた、学ぶために開始する必要があります。この点に関しては、私はそれを共有するために大学院を終えたときに、自分のインターンシップの経験を見つけるための時間を持っているでしょう。

3.ない過深さ

深さの研究では、根本的な構造が読んで、非常に複雑かつ理論的な知識である、本も踊りを見ることができます。興味の一部に加えて、他の中で、深さは必要ありません。

4.ません再作成ホイール

あなたが研究を行うか、エントリの冒頭で、ビジネスのアルゴリズムに従事しているかどうか、良心的基盤となるコードベースを超えるアルゴリズム自身はより複雑な非必須などのアルゴリズム（例えば、再生など）、またはのために、十分な実装時間を無駄にしないでください、あなただけの、始まっこの分野での専門知識を必要としないことに注意してください。

I MLパッケージのソースコードの読み取りのHadoop一度、そして私のために、C ++のソースコードをxgboost、まだ有用な作業を行う、入門ました。ホイールは、他の誰かの構造を学ぶために高速鉄道を輝いて、修復されない、効率はあまり高くありません。今、最も奥行きモデルの呼び出しが、コードベースの金額の100行のために。あなたの方向が大規模である場合を除き、深い学習システムのアーキテクチャ開発の発展の基礎となる高可用性は、基礎となるコードを促進する必要はありません。

5.ドゥトレーニングを報告しません

見る人のこの目。しかし、私が思うに、今中国の字幕を持っているなどコーセラ、スタンフォードCS231、カーン・アカデミー、あなたが学ぶネットワークに十分な、上のオープンクラス。関連リソース私の最後の記事を仕上げに、我々はアクセスすることができます。一部の学生がお金を費やして感じるだろう、ということが強調され、それが自然にそれを学ぶことを主張します、悪い感じます。アイデアは2があり、非常に良いが、あまりにもナイーブであります

中国の教育制度は始まったばかり、多くは985校の大学、自身がAI研究の起源そうでない教師と教室数学とコンピュータのクラスです。だから、考えてください：学外研修機関、教育能力が優れて985よりもやるのでしょうか？
学習の深さは、多くの場合、基本的な理論をサポートしていないと批判され、数学的知識が必要とされていませんが、聞いてダニエルに言っているが、深さの研究では、クラッシュを言いませんでした。あなたが特定の方向に掘り、そして最終的にはまだ基本的な数学一度。ほとんどのコースは、それがすべてで、あなたを教えていません。彼らはあなたの興味、アレステッド・ディベロプメント、その後、収穫授業料を使用します。

私は（以前に報告されていた）私を報告する人々を訓練しているかもしれ書いたが、私が言うように、今、あまりにも多くのコースは、台無しにされていてもAI業界で、IQを収穫します。

最後に、私はすべてが機械学習の分野で数学的知識を使用し、学習の深さをまとめ、我々はこれらの外側を学ぶためにあまりにも多くの時間を費やすことはありません、必要でない場合は、開発計画に学習するためのコンテキストとして、この知識を指し示すことができます

結石

微積分は現代数学、線形代数、行列理論、確率論、情報理論、コースは微積分の知識を必要とする数学的な最適化手法の基礎です。機械学習と深い学習だけでは、より多くの使用差動です。積分は、実質的に唯一の確率密度関数と分布関数の計算概念は積分によって定義または計算する必要があり、確率論で使用することができます。ほとんどすべてのトレーニングや予測における学習アルゴリズムの最適化問題を解いているので、微積分機能、機能を解決し、いくつかのモデルを選択するために、極端な値に依存する必要があり、数学的な性質の配慮もあります。機械学習のために、計算の主な役割は次のとおりです。 1.の極値機能解決 2.分析機能の性質上 、明らかに教科書の話をされていない、次のように機械学習と深い学習に必要な微積分の知識を記載されているがすべてのコンテンツは、我々は必要なリスト、必要とされます。

リミットは：制限は、高い数学と算数は流域であるように派生、微分、積分の概念に基づいている計算の建物の礎石です。直接機械学習における知識の利用を制限しますが、デリバティブとの統合を理解することはないが、それをする必要があります。
Supremumとinfimumは：エンジニアリングの計算の概念は奇妙ですが、機械学習で頻繁に使用されます、我々は紙やSUPの本を見ていないとinfがどのような手段を知りません。
デリバティブ：その重要性はよく、極端な値関数がそれを必要と求めている、それは機能の性質を分析する必要がある、知られています。勾配降下を導出する典型的な方法は、ガイドの数とロジスティック関数を計算します。デリバティブ巧みに基本的な機能が計算されます。
リプシッツ連続性：この概念はまた、工学の教科書に記載されたが、アルゴリズムの性質を分析するのに非常に便利ですされていない、GAN、深い学習アルゴリズムの安定性、汎化性能分析では役に立ちません。
単調性と導関数：そのような活性化関数ニューラルネットワークなどの特定のアルゴリズムの導出は、アダブーストアルゴリズムは単調関数の研究を必要とします。
エクストリーム関数の導関数の値：これは、機械学習の中心位置にあり、最適化問題は、ほとんどの連続最適化問題であるため、ファンクションポイント0の最小損失を達成するために、極端な値を求めながら、関数の微分を取ることによって、最大しかし、同様の機能のと上のようにターゲット。
そして導関数の凹凸：の投影は、ジェンセンの不等式におけるその応用を示しました。
テイラー式：別のコア知識ポイント。広く勾配アルゴリズムを強化するために、最適化アルゴリズム、勾配降下法、ニュートン法、準ニュートン法、アダブーストアルゴリズムで使用される、XGBoostはそれなしで誘導されます。
不定積分：機械学習に使用される比較的少数の点を中心に定積分の基礎である確率を計算するために使用されます。
定積分：含む一般化積分は、確率論を計算するために使用されます。機械学習アルゴリズムの大きなクラスは、ベイズ分類、確率的グラフィカルモデル、変分推論などの確率的アルゴリズムの種類です。確率密度関数に関連しているこれらの場所が統合されています。
統合の上限を変更します。典型的な分布関数は、また、確率計算のために主に使用される線積分機能変異体です。
ニュートン-ライプニッツ式。まれに機械学習で直接使用しないが、それは、最も重要な計算式の一つである定積分の計算のための基礎を提供します。
常微分方程式。これは、いくつかの論文で使用されるが、一般的に以下のアルゴリズムよりもされます。
偏微分。言うことの重要性言うまでもなく、機能の大半が極端にそれらを求めて、多機能している機械学習は、部分的誘導体は、オープンの周りではありません。
グラデーション。単調性および多変量関数の極値を決定し、勾配降下法は、それなしで誘導されます。必要なアルゴリズムほぼすべての連続最適化関数の勾配値を計算するために、目標点として0の勾配を見つけること。
高次偏導。それは分離できない極値関数は、光は、勾配関数の極値を決定することができません。
チェーンルール。また、バックプロパゲーションニューラルネットワークの多種多様の使用はチェーンルールに依存しています。
ヘッセ行列。両極端と機能の凸部を決定し、材料工学の学生の使用はなじみのないかもしれません。
多変量関数の極値の基準。直接ではなくが、最適化の方法を理解することが不可欠です。
関数の凹部識別方法。問題は、凸最適化問題はそれと不可分であることを証明することです。
ヤコビ行列。エンジニアリング材料は、一般的に広く逆伝搬アルゴリズムで使用されている複数の複合式の導出関数の使用を簡素化し理解することは困難ではないこの概念、ヘッセ行列、及びこれを、導入しません。
行列ベクトル導出。心で計算ヘッセ行列に共通一次関数、勾配の二次関数は、複雑ではない導き出さ。
テイラー式。勾配降下、最適化アルゴリズムのニュートン法の基礎を理解します。
多重積分。主に、正規分布のような確率論、統合のランダムベクトルに使用。

線形代数と行列理論

微積分に関しては、より多くの線形代数と行列理論の部分は、線形代数の工学の教科書の範囲を超えて、カテゴリ/マトリックス分析に属しているようです。ここでは、線形代数や行列理論の一般的な知識があります。

ベクトル操作：入力機械学習アルゴリズムは、多くの場合、ベクター、サンプルとしての特徴ベクトルです。だから、身近で一般的に使用されるベクトル演算は、機械学習の基礎を理解することです。
マトリックスとその動作：ベクトルは、など、様々な計算は、使用されるマトリックスは、心によって学習しなければならない線形代数の中核概念です。
決定は：直接の使用が少なく、確率論では、時折使用のいくつかのモデルを推定しました。
線形方程式：以下、直接使用するが、これは、線形代数の中核です。
固有値と固有ベクトル：広く機械学習、最終的には行列の固有値と固有ベクトルを解決するため、多くの問題に使用されています。マニホールド学習、スペクトラルクラスタリング、線形判別分析、主成分分析。
固有値：代数材料リニアエンジニアリングは、一般的な概念が、それが頻繁に使用されるマニホールド、スペクトルクラスタリングアルゴリズムの学習を言及していません。
レイリー商：エンジニアリングの教科書には、一般的にそれを言及しないでください。いくつかの導出アルゴリズムでは、このような線形判別分析として、使用されるであろう。
そして、行列のスペクトルノルム条件数の数：エンジニアリング材料は、一般的にそれを言及しないでください。それを使用する特定のアルゴリズム解析では、マトリックスの特性を特徴付けることが重要です。
二次：目的関数の多くは二次関数、二次及び自明のため、ステータスです。
コレスキー分解：特定のアルゴリズムの導出は、工学材料は、一般的にそれを言及していない、それを必要とします。
固有値分解：機械学習にとって非常に重要なのは、多くの問題は、線形判別分析は、そのような主成分分析として、最終固有値分解に起因します。
特異値分解：広くノーマルベイズ分類から機械学習で使用される、話題のモデルは、その影を持っています。

確率論と情報理論

マシンは非常に多くを学んで確率論と情報理論的には。確率論の知識は、工学材料の範囲を超えて一般的ではありません。情報理論は、多くの学生が学ぶことがなかったということですが、微積分や確率論を理解する限り、これらの概念を理解することは難しいことではありません。以下に示す一般的な確率論と情報理論の知識に使用されています。

ランダムイベントと確率：それは確率論は、最も基本的な知識である、確率変数の基礎を理解することです。
条件付き確率と独立性：条件付き確率は限り通常それなしで、確率モデルの場所があるので、機械学習で重要です。独立性はまた、そのような確率論のグラフィカルモデルなど多くの場所で使用されています。
条件付き独立性：広く確率論、グラフモデルで使用されるが、我々はそれを理解する必要があります。
トータル確率式：基本的な公式のステータスは言うまでもないです。
ベイズ式：確率的機械学習アルゴリズムにおける場所の魂に、モデルはほぼすべて、それを生成するために使用する必要があります。
離散確率変数と連続確率変数：重要性言うまでもなくする、確率質量関数、確率密度関数、分布関数、我々は習得しなければなりません。
期待：非常に重要なのは、多くの場所は、その影を持っています。
分散と標準偏差：非常に重要なのは、重要な指標は、確率分布を特徴づけます。
ジェンセンの不等式：多くの派生と証明では、EMアルゴリズム、推定バリエーションとして、それに使用されます。
共通の確率分布は、次のとおり等均一な、通常の、ベルヌーイ分布、二項分布、多項分布、t分布を、それが広く、様々な機械学習アルゴリズムに使用されます。
ランダムベクトル：多変量確率変数、実際にはより有用。
共分散：コンセプトは、しばしば、このような主成分分析、多変量正規分布のように、使用します。
パラメータ推定：最尤推定、最大事後確率推定、ベイズ推定、カーネル密度推定を含め、我々は、彼らが行っている方法を見つけ出す必要があります。
乱択アルゴリズム：サンプリングを含め、遺伝的アルゴリズム、モンテカルロアルゴリズムは、また、多くの場合、機械学習に使用されています。
エントロピー、クロスエントロピー、KLダイバージェンス、JSダイバージェンス、相互情報、情報利得を含む情報理論の概念は、深くこれらの概念を理解する必要があります。あなたはKLダイバージェンスを理解していない場合は、どのように変分推論とVAEを理解するには？

最適化の方法

すでに述べたように、機械学習の最適化手法は、モデルの結果を決定または予測するためのパラメータの魂です。残念ながら、一般的にはプロのエンジニアは、このコースを学ぶことがなかったです。しかし、限り、あなたは微積分と線形代数を理解するように、これらのアルゴリズムを推測することは難しいことではありません。以下に示す最も一般的に使用される最適化法の知識です：

勾配降下：最も簡単な最適化アルゴリズムが、特に綿密な研究では、非常に便利。
確率的勾配降下法：深学習における女性と子どもの重要性。
最急降下法：勾配降下方法が変更され、のような勾配アルゴリズムを理解するための基盤を強化します。
改善された勾配降下：などAdaGrad、AdaDelta、アダム、など、多くの場合、これらの名前を見たときに、オープンソースのライブラリを学習の深さを使用して。
ニュートン法：二次の最適化アルゴリズムの典型的な代表が、あまり深さ研究と。ロジスティック回帰アルゴリズムを訓練では、それが必要になります。
準ニュートン法：改良されたニュートン法、空港や他のモデルとのトレーニング条件はL-BFGSアルゴリズムを使用します。
座標降下法：ロジスティック回帰モデルを訓練はそれを理解することは難しいことではありません使用されます。
凸最適化：問題はおめでとう、凸最適化問題を証明することであるならば、最適化の中心的な概念の1つは、それは基本的にソリューションをより良くすることができます。
ラグランジュ乗数法：非熟練把握それは、あなたが非常に困難になります場合は、カウントポイントは、多くの場合、判別分析線形、そのような主成分分析として導出、各種のに使用されています。
KKT条件：不等式制約付きバージョンを拡張するラグランジュ法は、SVMは導出に使用されます。
ラグランジュ双対性：知識のない良い理解は、多くの場合、SVMの導出に使用されるが、式は難しいことではありません設定します。
多目的最適化：めったになマルチターゲットNASにおけるパレート最適性の概念として、それを使用し、使用しません。
変分法：変分法、最大エントロピー正規分布で、特定の状況下で平均および分散ことを示すことができるように、いくつかの理論的導出において、機能的極値を解決するためには、それを必要とします。

グラフ理論

いくつかの機械学習の問題は、このようなマニホールド学習、スペクトラルクラスタリングとして、グラフ理論によって解決することができます。特定のアルゴリズムの発現はまた、ネットワークトポロジにおける深度学習、NASの計算として、グラフ理論の知識を使用してもよいです。確率的グラフィカルモデルは、初心者の多くは、それはグラフ理論と確率論の完璧な組み合わせである、おびえます。以下は、グラフ理論の一般的な知識について説明します。 図基本概念：頂点、エッジ、有向グラフのような無向グラフです。

マトリックスと重み付け隣接行列：グラフ理論のコアコンセプト、一般にカウンターウエイトの右側有します。

いくつかの特別なチャート：二部グラフ、有向非巡回グラフ、などなど、学習の深さは、多くの場合、それらを使用しています。

最短経路問題：古典的なダイクストラアルゴリズムは、各プログラマが習得しなければならないということです。

ラプラス行列と正規化ラプラシアン行列：より困難なマニホールド学習、半教師あり学習、グラフ理論を用いて、スペクトルクラスタリングなど多くのアルゴリズムで機械学習の概念を理解するためには、それから不可分です。マトリックスとその性質を理解し、それはこれらのアルゴリズムの基礎を理解することです。

最後に、単一のプライマーが自分のコースを整理し、私はそれは初心者に適していないと思うので、私は、に行っていないような小さな青い本の中身を、本を取る付けます。ここで私は、コースや書籍は非常に初心者に優しい、読むために初心者に適して列挙されています。私は本を読んで、そしていくつかの19年の本の前に何年か前に個人的に新しい本をお勧めします見て、非常に近い業界における現在の深学習アプリケーションに、書かれていました。（私は通常高い理由は、書評を知りません）

数学のカリキュラム

アルゴリズムのコース

Coursera-機械学習-Andrewン
機械学習のBiliBili-礎石 - 林玄ティエン
CS231n：視覚認識のための畳み込みニューラルネットワーク
スタンフォードディープからチュートリアルを学ぶ -Stanfordコンピュータサイエンス学部の公式チュートリアル、アンドリュー・ウ書き込み
アプリケーションとの統計的学習の入門 Rは非常にシンプルなバージョンを確認することをお勧めします
Pythonの深研究クレソンのスコア9.6、深学習カテゴリで首位
深ハンズオン科学学習クレソンのスコア9.3を、李牧の先生が書きました
取得深い学習クレソンのスコア9.4、斎藤カン李、書き込みの神

論文

でマシンを学ぶあなたは、一般的な学習の深さがやっに使用されているものを知っているので、記事の入門的な性質- 。
学習ディープ - （レビューArticleこの記事は、自然、2015年5月にあった）3つの神ヤン・ルカン、ヨシュア・ベンジオ、およびジェフリー・ヒントン記事は、説明されていません。
ディープ学習における成長の痛み
ニューラルネットワークディープに学ぶ - 。このテクニカルレポートでは、最近の結果の年でAN深い学習と特別フォーカスON A動向との関連技術を提供するの概要主なポイントは、進行中の最後の2年間（2012年から2014年）の深さを学ぶことです。

ディープ学習コードライブラリ

H2O - Javaの、パイソン、スカラ座、およびRをサポートするオープンソースのスケーラブルなライブラリ
Deeplearning4j - Javaライブラリは、Hadoopのスパークを統合しました
カフェ -大学院Yangqing甲の開発、それは今バークレーによって維持されています。
Theano -最も人気のあるPythonライブラリ

次回の記事では、簡単な分類アルゴリズムの話をあなたはどのように機械学習アルゴリズムを学ぶことを教える、より多くの、プログラミング、AIの知識を機械学習します、私はまた、公開番号「チューリングの猫」の注目を歓迎〜