Contenu de ce chapitre
- 5.1 Présentation
- 5.2 Types de convergence
- 5.3 La loi des grands nombres
- 5.4 Le théorème central limite
- 5.5 Méthode Delta
Quant aux noms clés, certains mots peuvent ne pas transmettre le sens, c'est pourquoi les noms clés sont organisés comme suit
1. La loi des grands nombres : la loi des grands nombres
2. Le théorème central limite : le théorème central limite
3. théorie des grands échantillons : théorie des grands échantillons
4. Théorie des limites : théorie des limites
5. Théorie asymptotique : théorie asymptotique
6. Théorème de Slutzky : Théorème de Slutzky
7. La loi faible des grands nombres (WLLN)
8. Théorème central limite multivarié : Théorème central limite multivarié
5.1 Présentation
L’un des aspects les plus intéressants de la théorie des probabilités est le comportement des séquences de variables aléatoires. Cette partie de la théorie des probabilités est appelée théorie des grands échantillons ou théorie des limites ou théorie asymptotique. La question la plus fondamentale est : la limite de la séquence de variables aléatoires X1, X2,... Qu'est-ce que le comportement ? Étant donné que les statistiques et l’exploration de données collectent toutes deux des données, nous réfléchissons naturellement à ce qui se passera lorsque de plus en plus de données seront collectées.
En calcul, si pour une raison quelconque , il existe un nombre supérieur à n tel que On dit simplement qu'il converge vers x, et ce x est la limite de . En théorie des probabilités, la convergence devient un peu plus subtile. Revenons un instant au calcul. Si pour tout n, il y a , alors, évidemment . Pensons ensuite au modèle général de cet exemple. Si X1, X2... sont des séquences de variables aléatoires, elles sont indépendantes et conformes à la distribution N(0,1). Puisque ces variables aléatoires ont toutes la même distribution, on peut dire que Xn converge vers X et X suit une distribution normale . Mais ce n’est pas très précis, car pour tout n (la probabilité que deux variables aléatoires consécutives soient égales est de 0)
Voici un autre exemple. Considérons X1, X2,...où Xi suit une distribution. Intuitivement, lorsque n devient grand, Xn se concentre près de 0, on peut donc dire que Xn tend vers 0. Mais pour tout cela , il est clair que nous devons développer un outil permettant de discuter de cette convergence de manière plus rigoureuse. Ce chapitre développera cette méthode appropriée.
Il y a deux perspectives principales dans ce chapitre, énoncées de manière informelle comme suit :
- La loi des grands nombres stipule que la moyenne de l'échantillon converge vers l'espérance, ce qui signifie qu'elle est proche de μ avec une forte probabilité
- Le théorème central limite montre que la distribution converge vers la distribution normale. Cela signifie que lorsque n est suffisamment grand, la moyenne de l'échantillon suit une distribution normale
5.2 Types de convergence
Deux principaux types de convergence sont définis comme suit :
5.1 Définition
Soit X1, X2... des séquences de variables aléatoires, et X une autre variable aléatoire. Soit la CDF de Xn, et soit la CDF de X.
- Pour tout , à cet instant , il existe . Alors Xn est dit converger vers X avec une probabilité notée
- Si pour tout t, il existe , où F est une fonction continue, alors Xn est dit converger vers X en distribution, notée
Lorsque nous contraignons la variable aléatoire à obéir à une distribution de masse ponctuelle, nous modifions légèrement la façon dont nous l'écrivons. Si , et , alors nous pouvons l'écrire sous la forme . De même, nous pouvons également l'écrire sous la forme
Il existe un autre type de convergence qui est introduit principalement parce qu'il est très utile pour prouver la convergence probabiliste.
5.2 Définition
Si, à ce moment-là , , alors Xn converge vers X sous le carré moyen. Désigné comme
De même, si X obéit à la distribution de masse ponctuelle, cela peut s'écrire
5.3 Exemple
Supposons que Intuitivement, Xn se rapproche progressivement de 0. On peut donc dire que Xn converge vers 0. Voyons maintenant si c'est correct. Soit F la fonction de distribution de masse ponctuelle en 0. Notez que Z est une variable aléatoire normale standard. Pour t<0, il y a , parce que . Et pour t>0, il y a , parce que .
Donc pour , il y a . Donc Xn converge vers 0 lors de la redistribution.
Notez que, donc à t=0, la convergence n’est pas établie. Ceci n'est pas important car t = 0 n'est pas un point continu de F, et dans la définition de la convergence de distribution, seule la convergence en points continus est requise. Voir ci-dessous
Pensons maintenant à la convergence en probabilité. Pour tout , quand , en utilisant l'inégalité de Markov, on obtient
Donc Xn converge vers 0 avec probabilité.
Le théorème suivant donne la relation entre deux types de convergence. Les résultats sont résumés dans la figure ci-dessous
5.4 Théorème
La relation suivante est établie
- implicite
- Cela implique que Xn converge vers X en distribution,
- Si Xn converge vers X en distribution, et , alors Xn converge vers X en probabilité,
Habituellement, à l’exception du troisième point, l’inverse n’est pas vrai.
Pour prouver, commencez par prouver le premier point. Supposons que , pour fixe . Ensuite, utilisez l'inégalité de Markov
Démontrez le deuxième point. Cette preuve est un peu compliquée, vous pouvez donc la sauter si vous ne souhaitez pas la lire. Fixe , soit x un point continu de F. Donc
en même temps,
donc,
En prenant la limite , on obtient,
La liste est vraie pour tous , prenons la limite de la formule ci-dessus , et F est continue en x
Démontrez le troisième point. corrigé , alors
Montrons maintenant que la direction opposée n’est pas vraie.
Convergence en probabilité ne signifie pas convergence en carré moyen : laissez , et laissez encore , alors
.Donc , mais pour tout n, , donc Xn ne convergera pas sous le carré moyen.
Convergence en distribution ne signifie pas convergence en probabilité : soit , , où n=1,2,3.... Donc . Pour tout n, Xn et X ont la même fonction de distribution. Par conséquent, pour tout x , Xn converge distributionnellement vers X. Mais . Donc Xn ne converge pas vers X en probabilité
Attention : On pourrait penser que si , alors , c'est incorrect. Soit X une variable aléatoire avec probabilité .Maintenant , .Donc, .Mais, ,donc
5.5 Théorème
Soient Xn,X,Yn,Y des variables aléatoires, soit g une fonction continue
- si , et , alors
- si , et , alors
- Si Xn converge vers X en distribution et Yn converge vers c en distribution, alors Xn+Yn converge vers X+c en distribution
- si , et , alors
- Si Xn converge vers X en distribution et Yn converge vers c en distribution, alors XnYn converge vers cX en distribution
- si , alors
- Si Xn converge vers X en distribution, alors g(Xn) converge vers g(X) en distribution
Parmi eux, 3 à 5 sont le théorème de Slutzky. Il convient de noter que Xn converge vers X en distribution et Yn converge vers Y en distribution. On ne peut pas conclure que Xn+Yn converge vers X+ en distribution. Y
5.3 Loi des grands nombres
Venons-en maintenant au summum de la théorie des probabilités : la loi des grands nombres. Cette théorie stipule que la moyenne d'un grand nombre d'échantillons est proche de la moyenne de la distribution. Par exemple, si vous lancez un grand nombre de pièces, la proportion de faces sera proche de 1/2. Décrivons-le maintenant plus précisément.
Supposons que X1 , _
5.6 Théorème
La loi faible des grands nombres (WLLN)
Si X1, X2...Xn sont distribués indépendamment et de manière identique, alors
Explication de WLLN (Loi des Grands Nombres) : À mesure que n augmente, la distribution de Xn se concentre progressivement autour de μ.
Preuve : Hypothèse ... Cette hypothèse n'est pas obligatoire, mais elle simplifie la preuve. En utilisant l'inégalité de Chebyshev, nous obtenons :
.Quand n tend vers l’infini, cette formule tend vers 0.
5.7 Exemple
Envisagez de lancer une pièce de monnaie où la probabilité de tomber face est de p. Soit Xi le résultat d'un seul tirage au sort (0,1). Par conséquent , la proportion de n faces après ce tirage est : . Selon la loi des grands nombres, elle converge vers p en probabilité. Cela ne veut pas dire qu’il est numériquement égal à p. Cela signifie simplement que, lorsque n est suffisamment grand, la distribution de est étroitement autour de p. Si p=1/2, alors pour un grand n, on peut poser . Premièrement, , et , à partir de l'inégalité de Chebyshev :
Bien sûr, si n = 84, alors l'expression sera supérieure à 0,7
5.4 Théorème central limite
La loi des grands nombres stipule que les distributions de . Cela ne nous aide pas à énoncer les propriétés probabilistes, pour lesquelles nous avons également besoin du théorème central limite.
Supposons que X1 , ... _ Ce théorème est frappant car il ne nécessite rien d'autre que l'existence d'une moyenne et d'une variance.
5.8 Théorème
Le théorème central limite (CLT). Soit X1,...Xn indépendant et identiquement distribué avec moyenne et variance . Supposons … Alors
La distribution converge vers Z (distribution normale)
autrement dit,
Explication : L'état de probabilité par rapport à Xn peut être approximé en utilisant une distribution normale. Ce dont nous nous rapprochons, c'est l'état de probabilité, et non la variable aléatoire elle-même.
En plus de la distribution de Zn convergeant vers N(0,1), il existe plusieurs formats suivants pour indiquer que la distribution de Zn converge vers la normale. Ils veulent tous dire la même chose.
5.9 Exemple
Supposons que le nombre d'erreurs de programme par minute suive une distribution de Poisson de moyenne 5. Il y a 125 programmes disponibles. Soit X1,...X125 le nombre d'erreurs de ces programmes. nous voulons demander
Laissez , .alors
Le théorème central limite nous dit qu'il est approximativement N(0,1). Cependant, nous le connaissons rarement . Nous l'estimerons plus tard de la manière suivante :
Cela nous amène à la question suivante : le théorème central limite est-il toujours valable si nous l’utilisons à la place ? La réponse est oui
5.10 Théorème
En supposant les mêmes conditions que le CLT, alors
Vous vous demandez peut-être quelle est la précision de cette approximation normale ? La réponse sera donnée dans le théorème de Berry-Esseen
5.11 Théorème (l'inégalité de Berry-Esseen)
Supposons … Alors
Il existe également une version multivariée du théorème central limite
5.12 Théorème (Théorème central limite multivarié)
Soient X1,...Xn des vecteurs indépendants et identiquement distribués, où Xi est :
La moyenne μ est :
Matrice de variance Σ.
Soit , Où.Puis converger vers la probabilité
5.5 Méthode Delta
Si la distribution limite de Yn est une distribution normale, alors la méthode Delta fournit une méthode pour trouver la distribution limite, où la fonction g est n'importe quelle fonction continue.
5.13 Théorème (méthode Delta)
Supposons : la distribution converge vers , et g est une fonction différentiable, alors la distribution converge vers N(0,1).
En d’autres termes, implicite
5.14 Exemple
Soient X1,..Xn indépendants et identiquement distribués de moyenne finie μ et de variance finie σ. D'après le théorème central limite, la distribution converge vers N(0,1). Soit . Donc , où . Parce que . D'après la méthode Delta, on obtient
La méthode delta a également une version multivariée
5.15 Théorème
Soit une séquence vectorielle aléatoire qui satisfait à ce qui suit :
la probabilité converge vers
commande , et
Soit la valeur à , et qu'aucun des éléments ne soit 0. Donc
La distribution converge vers
5.16 Exemple
Soit un vecteur aléatoire IID de moyenne et de variance Σ. Soit , et définissons . Donc où, .selon le théorème central limite
Converge vers N(0,Σ) dans la distribution
maintenant , et
La distribution converge donc vers
Fin de ce chapitre
Non traduit : notes de littérature, annexes, devoirs