統計のすべて第 4 章

本章内容：

4.1 確率の不等式
4.2 期待の不平等

主要な名詞については、単語によっては意味が伝わらない場合があるため、以下のように主要な名詞を整理します。

1. 不平等: 不平等

2. マルコフの不等式: マルコフの不等式

3. チェビシェフの不等式: チェビシェフの不等式

4. ヘフディングの不等式: ヘフディングの不等式

5. 信頼区間: 信頼区間

6. コーシー-シュワルツの不等式: コーシー-シュワルツの不等式

7. ミルの不等式: ミルの不等式

8. ジェンセンの不等式: ジェンセンの不等式

4.1 確率の不等式

不等式は計算が難しい数量に役立ち、上限と下限を定義するために使用できます。これは、収束理論に関する次の章でも使用されます。最初の不等式はマルコフの不等式です

4.1 定理（マルコフの不等式）

X が非負の確率変数であると仮定します ( $\mathbb{E}(X)$ 存在すると仮定します)。任意の t>0 については、次のようになります。

$\mathbb{P}(X>t) \leq \frac{\mathbb{E}(X)}{t}$

証明する：

X>0 であるため、次のようになります。

$\mathbb{E}(X) = \int_0^\infty xf(x)dx=\int_0^txf(x)dx+\int_t^\infty xf(x)dx \\\\ \geq \int_t^\infty xf (x)dx \geq t\int_t^\infty f(x)dx = t\mathbb{P}(X>t)$

4.2 定理 (チェビシェフの不等式 )

$\mu = \mathbb{E}(X)$ 、と仮定すると $\sigma^2=\mathbb{V}(X)$ 、次のようになります。

$\mathbb{P}(|X-\mu| \geq t) \leq \frac{\sigma^2}{t^2}$ 、そして $\mathbb{P}(|Z|\geq k) \leq \frac{1}{k^2}$

その中には、 $Z=(X-\μ)/\シグマ$ 実際には $\mathbb{P}(|Z| > 2) \leq \frac {1}{4}$ 、、 $\mathbb{P}(|Z| > 3) \leq \frac {1}{9}$

証明する：

マルコフの不等式を使って証明します。

$\mathbb{P}(|X-\mu| \geq t)=\mathbb{P}(|X-\mu|^2 \geq t^2) \leq \frac{\mathbb{E}(X- \mu)^2}{t^2}=\frac{\sigma^2}{t^2}$

t を次のように置き換えることで $t=k\シグマ$ 2 番目の不等式を証明できます。

4.3 例

新しい n 個のテスト例のセットでニューラルネットワークなどの予測方法をテストするとします。予測が間違っている場合は Xi = 1 とし、予測が正しい場合は Xi = 0 とします。次に、 $\bar{X}_n=n^{-1}\sum _{i=1}^nX_i$ 観測されたエラー率です。各 Xi は、期待値 p が未知のベルヌーイ確率変数とみなすことができます。私たちは真の未知の誤り率 p を知りたいと考えています。それでは、 $\bar{X}_n$ p に近づかない $\バレプシロン$ 確率はどれくらいでしょうか?

がある場合 $\mathbb{V}(\bar{X}_n)=\mathbb{V}(X_1)/n=p(1-p)/n$ 、次のようになります。

$\mathbb{P}(|\bar{X}_n-p| > \varepsilon ) \leq \frac{\mathbb{V}(\bar{X}_n)}{\varepsilon^2}=\frac{p (1-p)}{n\varepsilon^2} \leq \frac{1}{4n\varepsilon^2}$

すべての p に対してが存在するため、, $p(1-p) \leq \frac{1}{4}$ の場合、上記の式の上限は 0.0625 になります。 $\バレプシロン =0.2$ $n=100$

ヘフディングの不等式はマルコフの不等式と精神的に似ていますが、より厳密な不等式です。ここではその結果を 2 回に分けて紹介します。

4.4 定理（ヘフティングの不等式）

Y1..Yn が次の条件を満たす独立した観測値であると仮定 $\mathbb{E}(Y_i)=0$ します。 $a_i \leq Y_i \leq b_i$ $\バレプシロン > 0$

$\mathbb{P}(\overset{n}{\underset{i=1}{\sum}}Y_i \geq \varepsilon) \leq e^{-t\varepsilon}\overset{n}{\underset{i =1}{\prod}} e^{t^2(b_i-a_i)^2/8}$

4.5 定理（ヘフティングの不等式）

と仮定する $X_1...X_n\sim ベルヌーイ(p)$ と、任意のに対して次のもの $\バレプシロン > 0$ が存在します。

$\mathbb{P}(|\bar{X}_n-p| > \valuepsilon ) \leq 2e^{-2n\valuepsilon^2}$

で $\bar{X}_n=n^{-1}\sum_{i=1}^nX_i$

4.6 例

チェビシェフの不等式に従って $X_1...X_n\sim ベルヌーイ(p)$ 、 n=100 と仮定します。 $\バレプシロン = 0.2$

$\mathbb{P}(|\bar{X}_n-p| > \varepsilon) \leq 0.0625$

ヘフディングの不等式によれば、

$\mathbb{P}(|\bar{X}_n-p| > 0.2) \leq 2e^{-2(100)(0.2)^2}=0.00067$

ヘフディングの不等式は、二項分布パラメーター p の信頼区間を作成する簡単な方法を提供します。信頼区間については後で詳しく説明します（第6章）が、基本的な考え方はここです。正の数 a を修正してみましょう

$\varepsilon_n=\sqrt{\frac{1}{2n}log{\frac{2}{\alpha}}}$

ヘフディングの不等式によれば、

$\mathbb{P}(|\bar{X}_n-p| > \valuepsilon ) \leq 2e^{-2n\valuepsilon^2}=\alpha$

つまり $C=(\bar{X}_n-\varepsilon,\bar{X}_n+\varepsilon)$ 、ランダム区間 C には、確率 1 - a の真のパラメータ値 p が含まれており、C a 1 - を信頼区間と呼びます $\mathbb{P}(p \notin C ) = \mathbb{P}(|\bar{X}_n-p|>\varepsilon_n) \leq \alpha$ 。 $\mathbb{P}(p \in C) \geq 1-\alpha$ それについては後で詳しく説明します。

次の不等式は、通常の確率変数に関連付けられた確率状態を限定するのに役立ちます。(校正が必要です)

4.7 定理 (ミルの不等式)

と仮定する $Z \sim N(0,1)$ と、 $\mathbb{P}(|Z| > t) \leq \sqrt{\frac{2}{\pi}}\frac{e^{-t^2/2}}{t}$

4.2 期待の不平等

このセクションには、期待値に関する 2 つの不等式が含まれています

4.8 定理 (コーシー・シュワルツの不等式)

X と Y に有限分散がある場合、 $\mathbb{E}(|XY|) \leq \sqrt{\mathbb{E}(X^2)\mathbb{E}(Y^2)}$

注：以下の凹凸関数の定義は国内の教科書とは逆です。

思い出してください: 各 x、y、が $\alpha \in [0,1]$ 以下を満たす場合、それは凸関数 (Convex) です。

$g(\alpha x+(1-\alpha)y) \leq \alpha g(x)+(1-\alpha)g(y)$

関数 g が 2 階微分可能性を持ち、すべての x について g"(x) ≥ 0 である場合、関数 g は凸関数です。関数 g が凸関数である場合、g は上にあることがわかります。任意の接線。関数 g が凹関数の場合、-g は凸関数です。凸関数の例には、g(x) = x^2 および g(x) = e^x が含まれます。凹関数の例には、g( x) = -x^2 および g(x) = log(x)。

4.9 定理 (ジェンセンの不等式)

g が凸関数の場合、 $\mathbb{E}g(X) \geq g(\mathbb{E}X)$ . g が凹関数の場合、 $\mathbb{E}g(X) \leq g(\mathbb{E}X)$

証明: を、 $L(x)=a+bx$ 点で g(x) に $\mathbb{E}(X)$ 接する直線としましょう。 g は凸関数なので、直線 L(x) よりも上にあり、次のようになります。

$\mathbb{E}g(X) \geq \mathbb{E}L(X)=\mathbb{E}(a+bx) = a + b\mathbb{E}(X)=L(\mathbb{E }(X))=g(\mathbb{E}X)$

ジェンセンの不等式によれば $\mathbb{E}(X^2) \geq (\mathbb{E}X)^2$ 、X が正の数の場合、になります $\mathbb{E}(1/X) \geq 1/\mathbb{E}(X)$ 。log は凹関数であるため、次のようになります。 $\mathbb{E}(logX) \leq log\mathbb{E}(X)$

この章の終わり

未翻訳: 参考文献、付録、宿題

4.1 確率の不等式

4.1 定理（マルコフの不等式）

4.2 定理 (チェビシェフの不等式 )

4.3 例

4.4 定理（ヘフティングの不等式）

4.5 定理（ヘフティングの不等式）

4.6 例

4.7 定理 (ミルの不等式)

4.2 期待の不平等

4.8 定理 (コーシー・シュワルツの不等式)

4.9 定理 (ジェンセンの不等式)

おすすめ