Huashuリーディングノート（2）-確率と情報理論

すべてのメモの概要：「ディープラーニング」フラワーブック-読書メモの概要

「ディープラーニング」PDF無料ダウンロード：「ディープラーニング」

1.確率

これは、イベントの発生頻度に直接関係し、頻度確率と呼ばれます。
確実性のレベルに関しては、ベイズ確率と呼ばれます。

第二に、確率変数

確率変数は、離散変数または連続変数にすることができます。

3、確率分布

これは、考えられる各状態での確率変数または確率変数のクラスターの確率を説明するために使用されます。確率分布を記述する方法は、確率変数が離散であるか連続であるかによって異なります。

離散変数の確率分布は、確率質量関数で記述できます。調査の対象が連続確率変数である場合、確率密度関数を使用してその確率分布を記述します。

第四に、周辺確率

変数のセットの同時確率分布はわかっていますが、それらのサブセットの確率分布を知りたいと思います。このような確率は、分布のサブセットで定義され、周辺確率分布（周辺確率分布）と呼ばれます。

5.条件付き確率

多くの場合、特定のイベントに関心があります。他のイベントが発生する確率を考えると、この確率は条件付き確率と呼ばれます。

6.条件付き確率の連鎖律

$$P（a、b、c）=P（|B、c）P（b、c）=P（|B、C）P（B|C）P（C）$$

セブン、独立性と条件付き独立性

2つの確率変数$x$和$y$、確率分布が2つの因子の積として表現でき、1つの因子にxxのみが含まれている場合$xの$他の因数にはyyのみが含まれます$y$、これら2つの確率変数を互いに独立して呼びます。
$$X\perp yの$$
程度であれば$x$和$y$の条件付き確率分布はzz用です$zの$各値は積として記述でき、次にこれら2つの確率変数$x$和yy与えられた確率変数zzの$y$$z$は条件付き独立です。$$X\perp Y|Z$$

8.期待値、分散、共分散

ある意味での共分散（共分散）は、2つの変数間の線形相関の強さとこれらの変数のスケールを示します$$Cov（f（x）、g（y））=E[（f（x）-E[f（x）]）（g（y）-E[g（y）]）]$$

9つの一般的に使用される確率分布

1. ベルヌーイ分布
2. Multinoulli分布（multinoulli分布）またはカテゴリ別分布
3. 正規分布またはガウス分布
4. 指数分布
5. ラプラス分布（ラプラス分布）
6. ディラック分布または経験分布
7. 混合分布（GMMガウス混合モデル）

10.一般的に使用される関数の便利なプロパティ

ロジスティックシグモイド関数：$$\sigma （x）=\frac{1}{1+\exp （-x）}$$

softplus関数：$$\zeta （x）=log（1+\exp （x））$$

いくつかの一般的なプロパティ：

11、ベイズの定理

$$P（x|y）=\frac{P（X）P（Y|X）}{P（y）}$$

12.連続変数の技術的詳細

13.情報理論

主な研究は、信号に含まれる情報の量を定量化することです。

カルバックライブラー（KL）発散を使用して、2つの分布の差を測定します$$D_{KL}（P||Q）=E_{X〜P}\left[log\frac{P（X）}{Q（x）}\right]=E_{X〜P}[logP（x）-logQ（x）]$$

KL発散には多くの有用な特性がありますが、その中で最も重要なのは、それが非負であるということです。PPの場合に限り、KL発散は0です。$P$と$Q$は、離散変数の場合は同じ分布であり、連続変数の場合は「ほとんどどこでも」同じです。

14.構造化確率モデル

構造化確率モデルには、有向と無向の2つの主要なタイプがあります。有向または無向は、確率分布の特性ではありません。これは、確率分布の特別な記述の特性であり、任意の確率分布は、これら2つの方法で記述できます。

次の章のポータル：Huashuリーディングノート（3）-数値計算