ディレクトリ
機械学習の基礎
1.確率と統計
確率（probabilty）と統計（統計）2つの一見似た概念、研究の実際には、ちょうど反対の問題。
名前が示すように：
- 確率の問題は、（例えば、平均、分散、共分散、など）産このモデルの特性の結果を予測する方法、既知のモデルパラメータです。
- 問題の統計的研究は反対です。統計は、予測したデータとモデルパラメータのこの山を利用するデータの束があります。さらなる研究は、モデルパラメータを観測データによって推定された実際の研究では、次に、推定モデルはガウス分布、指数分布、ラプラス分布、等です。
文の要約：確率が知られているモデルやパラメータ、プッシュデータです。統計データは、プッシュモデルとパラメータを知られています。
2.事前確率
Baiduの百科事典の定義：それは多くの場合、問題が生じる「ための果実からの需要の」「原因」確率であるとして事前確率（事前確率）は、こうしたトータル確率式として、過去の経験や分析を取得する確率を指します。
ウィキペディアの定義：「観測」は、確率pの不確実性の分布を表現することができます前に、ベイズ統計は、不確実な量pの事前確率分布を検討しています。
あなたは定義の両方が配布およびその他の要因から独立した観測データの確率分布がある事前確率に依存しない一つの共通点を持って見ることができます。使用することが可能である\（P（θ）\）図を。
事前確率は唯一の推論に基づいて、事前に既存の知識である経験的推定主観に依存し、
3.事後確率
ウィキペディアの定義：ベイズ統計における条件付き確率の後、ランダムイベントや不確実なイベントの事後確率を考慮して得られ、関連する証拠やデータを提供することです。同様に、事後確率分布は、試験結果の調査の確率分布に基づいて（ランダム変数として扱われる）未知量です。
これは、単に取得するために必要な観測データの確率は、例えば、我々はニューラルネットワークのモデル化が必要であることを意味し、我々は、事後確率は次のように表現されるように、流通ネットワークパラメータθを取得するために、データXの特定のセットに基づいて必要なP（θ（\ | X）\）
4.尤度関数
ウィキペディアの定義をBaiduの：統計、尤度関数は、統計モデルパラメータの関数です。所与の出力X、パラメータに関する\（θ\）尤度関数であり、|（X）\ L（θ）\（数値）指定されたパラメータに等しい（θ\）\変数後\（X- \）確率：\ [L（θ| X）= P（X-X = |θ）\]。
ウィキペディアの定義：モデルパラメータの可能性を表す統計モデルパラメータ機能の数理統計学では、尤度関数。
尤度確率は十分に私たちは今、データの束を持っていることを、理解し、そして今モデルは、可能な限りのデータを収めることができるように、これらのデータのモデル化パラメータのセットを構築する必要があります。私たちがしなければならないそうです、それは多くの場合、最尤確率を言われているので、グループの最高レベルは、パラメータのセット数からデータへのモデルの適合を作る選択すること\（\ mathop {ARGMAX} _ {θ} P（X | θ）\） 。
5.興味深い非公式 - ベイズ及び紛争の可能性 - 最大尤度の確率（MLE） - 最大事後（MAE） - ベイズ式
最尤推定とベイズ推定は、視点を送信し、バイユーSpiraxする周波数を表します。周波数派は、パラメータが客観的現実であるが、未知のキャリーであると考えています。次のように引数のX、Y、固定、最尤推定所与長い探し出すパラメータとしてとして、最大尤度関数を送信するために最も関心のあるこのように、周波数、
\ [θ_MLE} {[シータ]} = {argmax_ P（X- |θは）\]
訓練データ集合をX-表し、θはモデルパラメータであります
与えられた入力xが、我々はYを決定できない場合には出力を表すので、である必要があり、逆に、確率変数間のランダムな、および一般的に本質的な違いであるベイジアンスパイクパラメータは、パラメータを正確に固定することができません次のように表現は確率うち、予測値は、ベイジアン期待ある：
\ [E [Y | X] =∫P（Y | X、θ）P（θ| X-）D、θ\]
前記Xは、入力トレーニングデータセットを表し、yは出力を表し、θはモデルパラメータであります
式は、完全なベイズ予測と呼ばれています。：私たちが持っているベイズ式に従って、（事後確率）|質問は今、P（Xθ）を見つける方法です
\ [P（θ| X-）= \ {P FRAC（X- |θ）P（θ）} P （X）= \ FRAC {P
（X |θ）P（θ）} {∫p（X |θ）P（θ）Dθ} \] 残念ながら、上記事後確率の計算は、しばしば困難ですあなたはすべてのパラメータを統合したいので、あなたが閉鎖（解析解）の典型的な解決策を見つけることができません。この場合、我々は、事後確率、シークの同様の方法に使用最大事後を。
\ [Θ_{MAP} =argmax_θP
（X |θ）P（θ）\] 最大事後確率と最尤推定が類似しているが、より多くの事前分布の持つ\（P（\シータ）を\） 、それはベイズパラメータが事前分布は、通常ハイパー実際の操作により与えられ、ランダム変数であるとの見解を反映しています。
上記から分かるように、
- 一方、最尤推定や最大事後は、パラメータの点推定値は。学校の周波数では、パラメータは、また、固定の予測値を修正しました。完全ベイズ推定は必ずしも現実的ではないよう最大の事後確率は、おおよそのベイズ法です。
- 一方、データの量が十分に大きい、最大事後最大尤度推定値が一致する傾向にある場合に、最大事後確率は、妥協の先験的及びMLEとして見ることができます
大量のデータは、事前確率分布が均一になる傾向がある場合だからです。データが0の場合、それが唯一最大事後先験的によって決定されます。
推定するベイズ推定パラメータが代わりに値を決定する、事前確率分布と一致する確率変数とします。サンプル分布上の、およびすべての場合において計算所望のパラメータによって算出されたパラメータは、事後確率密度を得ました。
最尤推定値は、パラメータである（\シータ\）\決意値として。
概要：事前確率と事後確率尤度関数関係の後
事前確率：\（P（θ）\）
事後確率：\（P（θ| X-）\）
の尤度確率：\（P（X- |θ）\）
関係があり、それらのすべての3：
\ [ P（θ| X）= \
FRAC {P（X |θ）P（θ）} {P（X）} \] 一般データ\（P（X）\）分布はそうあり、知られている
\ [P（θ| X）αP
（X |θ）P（θ）\] パラメータ場合また、\（θ\）に均一に分布するとき、及び事後確率は、尤度確率に比例し、事後確率は最初に比例します。尤度関数を乗じた事後確率である：
\ [P（θ| X - ）α-P（X- |θ）\]