【機械学習】基礎的な確率論と情報理論

このブログ投稿の元のマークダウン リンクについては、ここをクリックしてください。！

序章

確率理論は、不確実性の記述を表現するためのフレームワークです。不確実性を定量化する方法を提供するだけでなく、新しい不確実性ステートメントを導き出すための公理も提供します。

人工知能の分野では、確率論は 2 つの方法で使用されます。まず、確率の法則は AI システムがどのように推論するかを示し、これに基づいて、確率論から派生した式を計算または推定するアルゴリズムが設計されています。第 2 に、確率と統計を使用して AI システムの動作を分析および評価できます。

確率理論を使用すると、不確実な発言をしたり、不確実性の存在について推論したりできますが、情報理論を使用すると、確率分布の不確実性の量を定量化できます。

機械学習は多くの場合、不確実な量を処理する必要があり、場合によってはランダムな量を処理することもあります。不確実性は、モデル化されるシステムの固有のランダム性、不完全な観測、および不完全なモデリングという 3 つの原因から生じます。

確率論

確率

• ベイズジャンルの確率: 確率とは何かが起こる確実性の度合い、つまり確実性の度合いであると考えます。

• 頻度 ジャンル 確率: 確率とは、物事がどれくらいの頻度で起こるかということだと考えています。

• ランダム変数: ランダムに異なる値を取る変数で、一般に確率変数を表すには普通の小文字が使用され、確率変数が取り得る値を表すには斜体の小文字が使用されます。確率変数x \mathrm xなど$x$が取り得る${バツ}_{}、{バツ}_{}$。

  確率変数がベクトル形式の場合は、太字$x\; は$、取り得る値が$\times$。確率変数は、それ自体では単に可能な状態を記述したものであり、確率分布を通じて各状態の尤度を指定する必要があります。

  確率変数は離散的または連続的です。離散確率変数には、有限数または可算無限数の状態があります。状態は整数である必要はなく、値のない名前付き状態がいくつか存在する可能性があり、連続確率変数は実数値です。

確率分布

離散確率変数と確率質量関数

離散確率変数の場合、確率分布では確率質量関数$(確率マス機能、\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_PMF)$を説明するため、通常は大文字の$P\; は、$確率質量関数が、各確率変数がとり得る各状態を、確率変数がその状態をとるときの確率にマッピングすることを意味します。確率変数x \rm xなど$x$にはxxがかかります$時間x$における確率は P ( x = x ) P(\text{x} = \it x)として表されます。$P(\text{×}=\times ）$。

一般に、確率変数$x$が続く$P\left(x\right)$用：$\text{バツ}〜P\left(\text{x}\right)$で表します。確率質量関数$P\left(x\right)$は次の条件を満たさなければなりません。

$⧫$$P$のドメインは$\text{x}$のすべての状態のコレクション

$⧫$ $\forall \times \in \text{×}，0\le P\left(\text{×}\right)\le 1$ ;

$⧫$${\sum }_{x\in }P(\times )=1$ .

確率変数$\text{x}$にはkkがあります$k$個の状態があり、一様分布$\left(uniformdistribution\right)、その\; PMF\backslash$ rm$PMF$$を変換$$する$ことにより$PMF$セット
$$P(\text{×}={バツ}_{})=\frac{}{k}$$
みんなへ$私は$確立されています。

• 同時確率分布

  確率質量関数を複数の確率変数に同時に適用します (例: $P(\text{×}=\times 、\text{y}=y)$，表示$バツ=\times 、y=y$が同時に発生する確率。

連続確率変数と確率密度関数

連続確率変数の場合、確率分布は確率密度関数(確率密度関数、PDF) (\rm 確率 \ 密度 \ 関数、PDF)として使用できます。$(確率密度関数、\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_PDF)の説明\; (通常は小文字$pp)$p\; は$、以下を満たす必要があることを示します。

$⧫$$P$のドメインは$\text{x}$のすべての状態のコレクション

$⧫$ $\forall \times \in \text{×}，0\le P\left(\text{x}\right)$ ;

$⧫$${\int }_{-\infty }^{}p\left(x\right)dx=1$ .

したがって、 PDF \rm PDF を使用できます$PDF\; は、$点セットの真の確率質量を取得するために$統合されています$$。$

たとえば、$(、\_b)$ ,
$$U(x;、\_b)=\frac{}{b-ある}$$

周辺確率分布

定義: 変数セットの同時確率分布のサブセットの確率分布。サブセット上で定義された確率分布は、周辺確率分布と呼ばれます。

離散確率変数x, y \text {x, y}があるとします。$\text{x、y}$および既知の$P\left(\text{x,y}\right)$。那么
$$\forall \times \in \text{×}、P(\text{×}=\times ）=\underset{y}{}P(\text{×}=\times 、\text{y}=y)$$
連続変数の場合は、積分
$$p\left(x\right)=\int p(x,y)dy$$

条件付き確率分布

定義:他のイベントが発生した場合に、あるイベントが発生する確率。

たとえば、$\text{バツ}=x,$イベント$\text{y}=y$が発生する
$$P(\text{と}=y|\text{バツ}=\times ）=\frac{P(\text{と}=よ、\text{バツ}=\times }{P(\text{×}=\times ）}$$

条件付き確率の連鎖則

任意の多次元確率変数の同時確率分布は、1 つの変数のみの条件付き確率を乗算する形式に分解できます。
$$P({\text{×}}^{\left(1\right)}、\cdots 、{\text{バツ}}^{\left(n\right)})=P\left({\text{×}}^{\left(1\right)}\right)\prod _{i=2}P({\text{×}}^{\left(私\right)}|{\text{バツ}}^{\left(1\right)}、\cdots 、{\text{バツ}}^{(i-1)})$$
決定します。
$$P(a、b、c)=P\left(a\right)P(b|a\left)P\right(c|、\_b)$$
解
$$\begin{array}{rl}P(a、b、c)& =P(\_|b、c\left)P\right(b、c)\\ P(b、c)& =P(b|c\left)P\right(c)\\ P(a、b、c& =P(\_|b、c\left)P\right(b|c)P(c\end{array}$$

独立性と条件付き独立性

2 つの確率変数$\text{x}$和$\text{y}$、それらの同時確率分布が個々の確率分布の積として表現できる場合、これら 2 つの確率変数は互いに独立していると言われます。つまり、 ∀ x ∈ x 、 y ∈ y 、 P ( x = x
$$\forall \times \in \text{×}、y\in \text{よ}、P(\text{×}=\times 、\text{y}=y）=P(\text{×}=x\left)P\right(\text{y}=y)$$
確率変数$\text{x}$和y \text y確率変数 z に対する$\text{y}$$\text{z}$の各値は積の形で書くことができ、確率変数$\text{x}$和y \text y与えられた確率変数の$\text{y}$$\text{z}$は条件独立、つまり
$$\forall \times \in \text{×}、y\in \text{よ}、z\in \text{z}、P(\text{×}=\times 、\text{y}=y|\text{z}=z）=P(\text{×}=バツ|\text{z}=z\left)P\right(\text{y}=y|\text{z}=z）$$

期待値、分散、共分散

予想

期待$\left(期待\right):関数ff\_\_\_\_\_\_\_$ __確率分布P ( x ) P(\text x)上の$f$$P\left(\text{x}\right)$または$P\left(\text{x}\right)$の期待値は、確率分布によって生成されるxxとして表されます。$x$、次に$f\; は$xxに作用しますf ( x ) f(x)$のx$の後$f\left(x\right)$の平均値。つまり、
$$E_{x〜}\left[f\right(x\left)\right]=\underset{バツ}{}P\left(x\right)f\left(x\right)$$
は積分によって得られる連続変数です。

分散

分散$\left(分散\right):ペア$xx$の$場合$\_$$\_$$\_$$\_$$x$が確率分布に従ってサンプリングされると、確率変数$x$の関数値$f\left(x\right)$はどれだけの差があるかを示します。つまり、
$$Var\left(f\right(x\left)\right)=\left[\right(f\left(x\right)-E\left[f\right(x\left)\right]{)}^2]$$
平方根は標準偏差と呼ばれます。

共分散

共分散$(共分散)\; :ある意味、$変数間の線形相関の強さと各$変数$$の$$スケール$$を$与えます$。$つまり、
$$Cov\left(f\right(x),g(y\left)\right)=E\left\{\right(f\left(x\right)-E\left[f\right(x\left)\right]\left)\right(g\left(y\right)-E\left[g\right(y\left)\right]\left)\right\}$$
共分散の絶対値が大きいということは、変数の値が大きく変動し、それぞれの平均値から遠く離れていることを意味します。共分散が正の場合、両方の変数が同時に比較的大きな値をとる傾向があります。共分散が負の場合、変数の 1 つは比較的大きな値を取る傾向があり、もう 1 つの変数は比較的小さな値を取る傾向があり、その逆も同様です。

相関係数$\left(corelation\right)は$、各変数のスケールに影響されずに変数の相関のみを測定するために、各変数の$寄与$を正規化します。

• 共分散行列

  ランダム ベクトル$バツ\in R^n$の共分散行列は$n\times n$行列であり、
  $$Cov(x{)}_{私、}=Cov({\text{x}}_{}、{\text{バツ}}_{})$$
  ここで、対角要素は分散です。

import numpy as np

x = np.array([1, 2, 3, 4, 5, 6, 7, 8])
y = np.array([8, 7, 6, 5, 4, 3, 2, 1])
Mean = np.mean(x)
Var = np.var(x)
Var_unbias = np.var(x, ddof=1)  # N - ddof
Cov = np.cov(x, y)
print(Mean)  # 4.5
print(Var)  # 5.25
print(Var_unbias)  # 6.0
print(Cov)
# [[ 6. -6.]
#  [-6.  6.]]

一般的な確率分布

ベルヌーイ分布

単一の 2 値確率変数の分布は、2 点分布とも呼ばれます。$\varphi \; は$1 1に等しい確率変数を与えます$P\; (\; x\; =\; 1$ ) = ϕ P ( x = 0 ) = 1 − ϕ P ( x = x ) = ϕ x ( 1 − ϕ ) ( 1 − x ) E x [ x ] = ϕ V arx
$$\begin{gathered} P(\text{×}=1)=\varphi \\ P(\text{×}=0)=1-\varphi \\ P(\text{×}=\times ）={\varphi }^{\times }(1-\left){\_}^{(1-x)} \\ {E}_{}\right[\text{×}]=\varphi \\ {私たちは\_}_{}(\text{×})=\varphi (1-)\_ \end{gathered}$$

ガウス分布

正規分布$\left(正規分布\right)N\; (x;\mu ,$ σ 2) = 1 2 π σ 2 $\{$$mathcal$$\backslash$$2$$\sigma$$2$$2$$)$$\mu$$-$$x$$($$-$e
$$N(x;メートル、p^2)=\sqrt{\frac{}{2本{\_}^2}}{e}^{-\frac{(x-\mu {)}^{}}{2P{\_}^2}}$$
場合によっては$b=\frac{}{p^2}$分布の精度を示します。中心極限定理では、多数の独立した確率変数の合計は正規分布に近似するため、ノイズは正規分布していると考えることができます。

指数分布

$$f\left(x\right)=\{\begin{array}{ll}\lambda e^{-\lambda x}、& バツ>0\\ 0& \text{その他}\end{array}$$

デフォルト値
$$p(x;l)=l1{\_}_{x\ge }{e}^{-\lambda x}$$
指数分布は指標関数$1_{x\ge }$xxのときに作る$x$が負の値の場合、確率は$0$。

$場所分布\_\_\_\_\_$ _

いつでも許可します$\mu \; は$無限小
$$p(x;c、メートル）=\frac{}{2c\_}{e}^{-\frac{|x-\mu }{c}}$$

共通機能

$シグモイド関数\_\_\_\_\_$ _

$$\sigma \left(x\right)=\frac{}{1+e^{-\times }}$$

この関数は通常、ベルヌーイ分布のパラメータ$\varphi$、その範囲は$(0,1)$。飽和は、関数の引数が大きくなったり小さくなったりすると発生します。つまり、関数が入力の小さな変化に鈍感になることを。

$ソフトプラス機能\_\_\_\_\_$ _

$$z\left(x\right)=\mathrm{ログ}(1\_+e^{\times }）$$

関数名は別の関数から来ています$ReLU$
$${バツ}^{+}=\mathrm{最大}\{0,この$$$$関数$$は、正規分布パラメータμ 、 σ \mu、 \sigma
を生成するために使用できます。$メートル、\sigma$、範囲は$(0,\infty ）$。

ベイズ則

既知の$P(\text{と}|\text{x})$计算$P(\text{×}|\text{y})$。
$$P(\text{×}|\text{y}）=\frac{P(\text{と}|\text{x}\left)P\right(\text{x}}{P（\text{と}）}=\frac{P(\text{と}|\text{x}\left)P\right(\text{x}}{{\sum }_{}P(\text{と}|\text{バツ}=x\left)P\right(\text{x}=\times ）}$$
P ( y ) P(\text y)を知らずに$P\left(\text{y}\right)$の値。

情報理論

考え: 可能性が低いイベントには、可能性が高いイベントよりも多くの情報が含まれています。

情報は次の 3 つの条件を満たす必要があります。

• 発生する可能性が非常に高いイベントはあまり有益ではなく、極端な場合には、発生が保証されているイベントは有益ではありません。
• 可能性が低いイベントほど有益です。
• 独立したイベントには増分情報が必要です。たとえば、表が 2 回出たコイン トスは、表が 1 回出たコイン トスの 2 倍の情報を伝える必要があります。

自己情報: イベント$\text{バツ}=x$の自己情報は、
$$私（\times ）=-ログ\_P\left(x\right)$$
と$log\; は$自然対数を表し、その底はee$\mathrm{です}$$e$。情報の単位は nats$\left(ないです\right)$。$\_$$\_$2 2の場合$2$をベースとし、単位は bits$\left(ビッツ\right)$。$\_$$\_$$\_$

シャノン エントロピー: 確率分布全体における不確実性の合計量を定量化するために使用されます。つまり、符号化理論における最適な符号長です。
$$H\left(\text{×}\right)=-E{\_}_{x〜P(x}[ログ\_P(x\left)\right]=-\underset{バツ}{}P(\times )ログ\_P(\times )$$

# 香农熵 plot
p = np.linspace(1e-6, 1 - 1e-6, 100)
entropy = - p * np.log(p)
plt.figure(figsize=(6, 4))
plt.plot(p, entropy)
plt.xlabel('p')
plt.ylabel('entropy(nats)')
plt.savefig('entropy.jpg', dpi=300)
plt.show()

def Shannon_Entropy(string):
    """
    计算最优编码长度
    :param string:
    :return:
    """
    entropy = 0
    for ch in range(0, 256):
        Px = string.count(chr(ch)) / len(string)
        if Px > 0:
            entropy += -Px * math.log(Px, 2)
    return entropy


message = "".join([chr(random.randint(0, 64)) for i in range(100)])
print(message)
# .1??@41-'7;<;!
# / +
# =;9!<"6#0%3
print(Shannon_Entropy(message))
# 5.419819909835648

結合エントロピー: 同時に複数のイベント、複数の確率変数のエントロピーを考慮します。
$$H(X,や）=-\underset{x、y}{}P(x,y）ログ\_P(x,y)$$
条件付きエントロピー: ある出来事が起こったときの別の出来事のエントロピー
$$H(X|や）=-\underset{y}{}P（と）\underset{バツ}{}P(\times |y）ログ\_P(\times |y)$$
相互情報量: 2 つのものの交差する部分を示します。
$$私(X、や）=H(X)+H(Y)-H(X,Y)$$
情報変化: 2 つのものの情報のうち、互いに素な部分を指します。
$$V(X,や）=H(X,や）-私(X、Y)$$
$KL$発散: 2 つの分布$P\left(\text{x}\right)$と$Q\left(\text{x}\right)$、
$$D_{KL}(P||問）=E_{\text{x}〜}\left[ログ\_\frac{P(x}{Q(\times )}\right]=\sum P(\times )ログ\_\frac{P(x}{Q(\times )}$$

$$D_{KL}(Q||P)=E_{\text{×}〜Q}\left[ログ\_\frac{Q(x}{P(\times )}\right]=\sum Q(\times )ログ\_\frac{Q(x}{P(\times )}$$

たとえば、$D_{KL}(P||問）\ne D_{KL}(Q||P)$。

$★$注: 離散確率変数では、$KL$発散は、QQにするように設計された方法を使用するときに測定されます$Q$によって生成され、確率分布$P\; が$シンボリック メッセージを生成するときに必要な追加情報の量

from scipy.stats import entropy  # 内置KL散度
import numpy as np


def KL_Divergence(p, q):
    """D(P || Q)"""
    return np.sum(np.where(p != 0, p * np.log(p / q), 0))


p = np.array([0.1, 0.9])
q = np.array([0.1, 0.9])

print(KL_Divergence(p, q))  # 0.0

print(entropy(p, q))  # 0.0  
# 两个分布一样

from scipy.stats import norm, entropy
import numpy as np
import matplotlib.pyplot as plt

x = np.linspace(1, 10, 1000)
y1 = norm.pdf(x, 3, 0.4)
y2 = norm.pdf(x, 6, 0.4)
P = y1 + y2  # 构造p(x)

KL_PQ = []
KL_QP = []
Q_list = []
for mu in np.linspace(0, 10, 100):
    for sigma in np.linspace(0.1, 5, 50):
        Q = norm.pdf(x, mu, sigma)
        Q_list.append(Q)
        KL_PQ.append(entropy(P, Q))
        KL_QP.append(entropy(Q, P))
# 寻找Q使得KL_PQ最小
KL_PQ_min = np.argmin(KL_PQ)
# 寻找Q使得KL_QP最小
KL_QP_min = np.argmin(KL_QP)

plt.rcParams['font.family'] = ["Times New Roman"]
fig, axes = plt.subplots(1, 2, figsize=(10, 4))
axes[0].plot(x, P / 2, 'g-', label="$\\bf P(x)$")
axes[0].plot(x, Q_list[KL_PQ_min], 'b-.', label="$\\bf {Q^{*}(x)}$")
axes[0].set_ylim(0, 1.2)
axes[0].set_xlabel("$\\bf x$")
axes[0].set_ylabel("$\\bf P(x)$")
axes[0].set_title("$\\bf \\rm \\arg\\min_{Q}(KL(P||Q))$")
axes[0].legend()

axes[1].plot(x, P / 2, 'g-', label="$\\bf P(x)$")
axes[1].plot(x, Q_list[KL_QP_min], 'r-.', label="$\\bf {Q^{*}(x)}$")
axes[1].set_ylim(0, 1.2)
axes[1].set_xlabel("$\\bf x$")
axes[1].set_ylabel("$\\bf P(x)$")
axes[1].set_title("$\\bf \\rm \\arg\\min_{Q}(KL(Q||P))$")
axes[1].legend()

plt.savefig("./images/KL.jpg", dpi=300)
plt.show()

クロスエントロピー: A と$KL$$ダイバージェンス$と密接に関係する量は、クロスエントロピーです。意味は実際の出力確率$Q$と期待出力確率$P$との距離。
$$\begin{array}{rl}H(P、問）& =H\left(P\right)+D_{KL}(P||問）=-E{\_}_{x〜}[ログ\_Q(\times )]\\ & =-\underset{バツ}{}P(\times )ログ\_Q(x\end{array}$$
二値分類の場合、クロスエントロピーの計算方法は次のとおりです。
$$H(P、問）=-\frac{}{N}\underset{バツ}{}P(\times )ログ\_Q(\times )+(1-P\left(x\right)\left)\mathrm{ログ}\right(1\_-Q\left(x\right))$$

ここで$P\left(x\right)$はサンプル$x$の目的の (真の) ラベル、正のクラスの場合は 1、負のクラスの場合は 0;$Q\left(x\right)$は、モデルが実際にサンプル$x$カテゴリが正である確率。$N\; は$サンプル数を表します。

3 3があるとします。真のクラス ラベルがP = ( 1 , 0 , 1 ) P = (1, 0, 1)$である3\; つのサンプル$$P=(1、0、1)$、実際の予測サンプルが正である確率は$Q=(0.8、0。1、0.7)$ .$\_$$\_$次のように、目的の出力と実際の出力の間のクロス エントロピーを計算します。

from sklearn.metrics import log_loss
import numpy as np

P = np.array([1, 0, 1])
Q1 = np.array([0.8, 0.1, 0.7])
Q2 = np.array([0.1, 0.7, 0.3])
# binary_ent = 0.0
# for i in range(P.size):
#     binary_ent += P[i] * np.log(Q1[i]) + (1 - P[i]) * np.log(1 - Q1[i])
# print(-binary_ent)  # 0.6851790109107685
binary_ent1 = - P * np.log(Q1) - (1 - P) * np.log(1 - Q1)
binary_ent2 = - P * np.log(Q2) - (1 - P) * np.log(1 - Q2)

print(binary_ent1.sum() / P.size)  # 0.22839300363692283
print(binary_ent2.sum() / P.size)  # 1.5701769005486392
# np.log 为自然对数

print(log_loss(P, Q1))
print(log_loss(P, Q2))
# 0.22839300363692283
# 1.5701769005486392

上記の結果から、予測値Q1 Q1が$Q1$のクロスエントロピーは、$Q2$は小さく、$Q1の$予測は期待値に近づいています。

多分類の場合、クロスエントロピーの計算方法は次のとおりです。
$$H(P、問）=-\frac{}{N}\sum _{i=1}\sum _{j=1}P({\times }_{私、}\left)\log \right(Q(x\_{}_{私、}))$$
其中，$P\left({\times }_{私、}\right)$サンプル${バツ}_{}$真のクラスラベルは$j$は$1$、それ以外の場合は$0$；$Q\left({\times }_{私、}\right)$サンプル${バツ}_{}$jjthとして予測される$クラスj$の確率$N$はサンプルサイズ、$M$はクラス ラベルの数です。

3 3があるとします。$サンプル数3\; 個$、合計$0〜$10 点中$9$$クラスラベル$$10枚$、$P\; は$サンプルの実ラベル (ベクトル) を表します;$Q\; は、$各サンプルのモデルのカテゴリ予測の値を表します。これは$3$行$10$列の行列。各行はサンプルのペアを表します$i$のカテゴリ予測確率値から構成されるベクトルで

import numpy as np
from sklearn.metrics import log_loss
from sklearn.preprocessing import LabelBinarizer

P = np.array(['1', '5', '9'])  # 样本的真实标签

Q = np.array([
    [0.1, 0.7, 0, 0, 0.01, 0.19, 0, 0, 0, 0],
    [0, 0.1, 0, 0.1, 0, 0.8, 0, 0, 0, 0],
    [0, 0, 0, 0, 0, 0, 0, 0.1, 0, 0.9]
])  # Q[i]是一个向量 Q[i][j]表示P[i]被预测为j类的概率

labels = ['0', '1', '2', '3', '4', '5', '6', '7', '8', '9']  # 标签集合
sklearn_multi_ent = log_loss(P, Q, labels=labels)
print(sklearn_multi_ent)  # 0.22839300363693002

# 根据公式计算
# 先对类别标签进行二值化为0&1  数字标签和非数字标签都需要
LB = LabelBinarizer()
LB.fit(labels)
bin_P = LB.transform(P)  # 真实标签进行转换
print(bin_P)
# [[0 1 0 0 0 0 0 0 0 0]
#  [0 0 0 0 0 1 0 0 0 0]
#  [0 0 0 0 0 0 0 0 0 1]]

N = P.size
M = len(labels)
eps = 1e-15  # 预测概率的控制值

multi_ent = 0.0
for i in range(N):
    for j in range(M):
        if Q[i, j] > 1 - eps:
            Q[i, j] = 1 - eps
        if Q[i, j] < eps:
            Q[i, j] = eps
        multi_ent += -bin_P[i, j] * np.log(Q[i, j])

print(multi_ent / N)  # 0.22839300363692283

PPと仮定します。$P$は期待される (真の) 分布、$Q$はモデル (実際の) 分布であり、クロス エントロピー$H(P、Q)$モデル分布を実際の分布に近づけることができます。

参考文献

[1]「Deep Learning」フラワーブック
[2]関連github