Toutes les statistiques Chapitre 4

Contenu de ce chapitre :

4.1 Inégalité de probabilité
4.2 Inégalité des attentes

Quant aux noms clés, certains mots peuvent ne pas transmettre le sens, c'est pourquoi les noms clés sont organisés comme suit

1. Inégalités : inégalités

2. L'inégalité de Markov : l'inégalité de Markov

3. L'inégalité de Chebyshev : l'inégalité de Chebyshev

4. Inégalité de Hoeffding : Inégalité de Hoeffding

5. Intervalle de confiance : intervalle de confiance

6. Inégalité de Cauchy-Schwartz : Inégalité de Cauchy-Schwartz

7. L'inégalité de Mill : l'inégalité de Mill

8. L'inégalité de Jensen : l'inégalité de Jensen

4.1 Inégalité de probabilité

Les inégalités sont utiles pour les quantités qui peuvent être difficiles à calculer et peuvent être utilisées pour définir des limites supérieures et inférieures. Elle sera également utilisée dans le prochain chapitre sur la théorie de la convergence. Notre première inégalité est celle de Markov

4.1 Théorème (inégalité de Markov)

Supposons que X soit une variable aléatoire non négative, en supposant qu'elle $\mathbb{E}(X)$ existe. Pour tout t>0, il y a :

$\mathbb{P}(X>t) \leq \frac{\mathbb{E}(X)}{t}$

prouver:

Parce que X>0, donc :

$\mathbb{E}(X) = \int_0^\infty xf(x)dx=\int_0^txf(x)dx+\int_t^\infty xf(x)dx \\\\ \geq \int_t^\infty xf (x)dx \geq t\int_t^\infty f(x)dx = t\mathbb{P}(X>t)$

4.2 Théorème ( Inégalité de Chebyshev )

Supposons $\mu = \mathbb{E}(X)$ , $\sigma^2=\mathbb{V}(X)$ alors :

$\mathbb{P}(|X-\mu| \geq t) \leq \frac{\sigma^2}{t^2}$ ,et $\mathbb{P}(|Z|\geq k) \leq \frac{1}{k^2}$

Parmi eux, $Z=(X-\mu)/\sigma$ .En fait, $\mathbb{P}(|Z| > 2) \leq \frac {1}{4}$ , $\mathbb{P}(|Z| > 3) \leq \frac {1}{9}$

prouver:

Nous utilisons l'inégalité de Markov pour prouver :

$\mathbb{P}(|X-\mu| \geq t)=\mathbb{P}(|X-\mu|^2 \geq t^2) \leq \frac{\mathbb{E}(X- \mu)^2}{t^2}=\frac{\sigma^2}{t^2}$

$t=k\sigma$ Nous pouvons prouver la deuxième inégalité en remplaçant t par

4.3 Exemple

Supposons que nous testions une méthode de prédiction, telle qu'un réseau de neurones, sur un nouvel ensemble de n exemples de test. Si la prédiction est fausse, soit Xi = 1, si la prédiction est correcte, soit Xi = 0. Vient ensuite $\bar{X}_n=n^{-1}\sum _{i=1}^nX_i$ le taux d’erreur observé. Chaque Xi peut être considéré comme une variable aléatoire de Bernoulli avec une espérance p inconnue. Nous voulons connaître le taux d’erreur p vrai mais inconnu. Alors quelle est la probabilité que $\bar{X}_n$ ce ne soit pas proche de p ? $\varepsilon$

Nous avons $\mathbb{V}(\bar{X}_n)=\mathbb{V}(X_1)/n=p(1-p)/n$ alors :

$\mathbb{P}(|\bar{X}_n-p| > \varepsilon ) \leq \frac{\mathbb{V}(\bar{X}_n)}{\varepsilon^2}=\frac{p (1-p)}{n\varepsilon^2} \leq \frac{1}{4n\varepsilon^2}$

Parce que pour tout p, il existe $p(1-p) \leq \frac{1}{4}$ . Si $\varepsilon =0,2$ , $n=100$ , alors la limite supérieure de la formule ci-dessus est : 0,0625

L'inégalité de Heffding est similaire dans son esprit à l'inégalité de Markov, mais il s'agit d'une inégalité plus stricte. Nous présentons ici les résultats en deux parties.

4.4 Théorème (inégalité de Hefting)

Supposons que Y1..Yn soient des valeurs d'observation indépendantes, satisfaisant : $\mathbb{E}(Y_i)=0$ , $a_i \leq Y_i \leq b_i$ , Supposons que $\varepsilon > 0$ , alors pour tout t>0, il y a :

$\mathbb{P}(\overset{n}{\underset{i=1}{\sum}}Y_i \geq \varepsilon) \leq e^{-t\varepsilon}\overset{n}{\underset{i =1}{\prod}} e^{t^2(b_i-a_i)^2/8}$

4.5 Théorème (inégalité de Hefting)

Supposons $X_1...X_n\sim Bernoulli(p)$ que, pour tout $\varepsilon > 0$ , il y ait :

$\mathbb{P}(|\bar{X}_n-p| > \valuepsilon ) \leq 2e^{-2n\valuepsilon^2}$

dans $\bar{X}_n=n^{-1}\sum_{i=1}^nX_i$

4.6 Exemple

Supposons $X_1...X_n\sim Bernoulli(p)$ que n = 100, $\varepsilon = 0,2$ selon l'inégalité de Chebyshev :

$\mathbb{P}(|\bar{X}_n-p| > \varepsilon) \leq 0,0625$

D’après l’inégalité de Heffding, on a

$\mathbb{P}(|\bar{X}_n-p| > 0.2) \leq 2e^{-2(100)(0.2)^2}=0.00067$

L'inégalité de Heffding nous fournit un moyen simple de créer un intervalle de confiance pour le paramètre de distribution binomiale p. Nous discuterons des intervalles de confiance en détail plus tard (chapitre 6), mais voici l'idée de base. Fixons un nombre positif a, soit

$\varepsilon_n=\sqrt{\frac{1}{2n}log{\frac{2}{\alpha}}}$

D’après l’inégalité de Heffding, on a

$\mathbb{P}(|\bar{X}_n-p| > \valuepsilon ) \leq 2e^{-2n\valuepsilon^2}=\alpha$

Soit $C=(\bar{X}_n-\varepsilon,\bar{X}_n+\varepsilon)$ . Alors $\mathbb{P}(p \notin C ) = \mathbb{P}(|\bar{X}_n-p|>\varepsilon_n) \leq \alpha$ , donc $\mathbb{P}(p \in C) \geq 1-\alpha$ . Autrement dit, l'intervalle aléatoire C contient la vraie valeur du paramètre p avec une probabilité 1 - a ; nous appelons C a 1 - un intervalle de confiance. Nous en reparlerons plus tard.

Les inégalités suivantes sont utiles pour qualifier les états de probabilité associés à des variables aléatoires normales. (nécessite une relecture)

4.7 Théorème (inégalité de Mill)

Supposons $Z\simN(0,1)$ , alors $\mathbb{P}(|Z| > t) \leq \sqrt{\frac{2}{\pi}}\frac{e^{-t^2/2}}{t}$

4.2 Inégalité des attentes

Cette section contient deux inégalités sur les valeurs attendues

4.8 Théorème (inégalité de Cauchy-Schwarz)

Si X et Y ont une variance finie, alors $\mathbb{E}(|XY|) \leq \sqrt{\mathbb{E}(X^2)\mathbb{E}(Y^2)}$

Remarque : La définition des fonctions concaves et convexes ci-dessous est opposée à celle des manuels nationaux.

Rappel : si chaque x, y, $\alpha \in [0,1]$ satisfait à ce qui suit, c'est une fonction convexe (Convex) :

$g(\alpha x+(1-\alpha)y) \leq \alpha g(x)+(1-\alpha)g(y)$

Si la fonction g a une différentiabilité à deux ordres et pour tout x, g"(x) ≥ 0, alors la fonction g est une fonction convexe. On peut prouver que si la fonction g est une fonction convexe, alors g se situe au-dessus n'importe quelle ligne tangente. Si la fonction g est une fonction concave, alors -g est une fonction convexe. Des exemples de fonctions convexes incluent g(x) = x^2 et g(x) = e^x. Des exemples de fonctions concaves incluent g( x) = -x^2 et g(x) = log(x).

4.9 Théorème (inégalité de Jensen)

Si g est une fonction convexe, alors $\mathbb{E}g(X) \geq g(\mathbb{E}X)$ Si g est une fonction concave, alors $\mathbb{E}g(X) \leq g(\mathbb{E}X)$

Preuve : Soit une droite tangente $L(x)=a+bx$ à g(x) en un point . Comme g est une fonction convexe, elle est au-dessus de la droite L(x), donc : $\mathbb{E}(X)$

$\mathbb{E}g(X) \geq \mathbb{E}L(X)=\mathbb{E}(a+bx) = a + b\mathbb{E}(X)=L(\mathbb{E }(X))=g(\mathbb{E}X)$

D'après l'inégalité de Jensen $\mathbb{E}(X^2) \geq (\mathbb{E}X)^2$ , si X est un nombre positif, alors $\mathbb{E}(1/X) \geq 1/\mathbb{E}(X)$ . Parce que log est une fonction concave, alors $\mathbb{E}(logX) \leq log\mathbb{E}(X)$

Fin de ce chapitre

Non traduit : références, annexes, devoirs