【Analyse statistique】(task1) Test d'hypothèse 1 : Méthodologie et test numérique unaire

résumer

• Mathématiquement, nous ne pouvons pas prouver une hypothèse avec un échantillon spécial, mais nous pouvons l'utiliser pour réfuter (rejeter) une proposition. Par conséquent, le test d'hypothèse explore essentiellement comment rejeter l'hypothèse nulle $H_{}$accepter l'hypothèse alternative $H_{}$.
• Les étapes de base du test d'hypothèse basé sur la valeur p (valeur p, qui est le niveau de signification minimum donné pour rejeter l'hypothèse nulle sous la valeur d'observation de l'échantillon déterminée) :
  • Déterminer l'hypothèse alternative $H_{}$, le signe de l'hypothèse alternative détermine la probabilité cumulative que nous utilisons.
  • Clarifiez la formule des statistiques de test. Différents tests d'hypothèse ont leurs propres statistiques de test. Vérifiez les données pour les trouver !
  • Spécifiez la distribution à laquelle la statistique de test suit afin que nous puissions calculer la probabilité cumulée.
  • D'après l'hypothèse alternative $H_{}$Calculez les valeurs p avec les statistiques de test.
  • Associer la valeur de p au niveau de signification α \alphaComparaison$alpha$$p>\alpha$ , l'hypothèse nulle ne peut pas être rejetée ; si$p<\alpha$ , l'hypothèse nulle peut être rejetée.
• Tester des hypothèses communes, selontype de données, caractéristiques des donnéesClassification, dans les applications pratiques, vous pouvez sélectionner directement le test d'hypothèse correspondant en fonction des caractéristiques des données à analyser et de la tâche d'analyse :
  • Pour certains des tests d'hypothèse les plus courants et les plus importants (tels que divers tests t), apprenez brièvement leurs principes ;
  • Pour les tests peu courants et difficiles à expliquer (comme les tests de normalité), vous pouvez les utiliser.
• Différentes statistiques de test ont différentes formes et différentes distributions, mais l'idée de test d'hypothèse a quelque chose en commun :Construire la statistique de test - sortir le quantile de la distribution correspondante - calculer la valeur critique (domaine de rejet) - porter un jugement.
  

Zéro, révision des connaissances de base

0.1 Classement des données

• Statistiques : variable utilisée en théorie statistique pour analyser et tester des données. Déduire les propriétés de l'ensemble à partir de l'échantillon, on le déduit généralement par des statistiques, comme déduire la durée de vie des ampoules produites par l'usine en calculant la durée de vie moyenne de 100 ampoules. Les statistiques courantes sont : la moyenne de l'échantillon, la variance de l'échantillon, le moment de l'échantillon, la distance centrale de l'ordre K de l'échantillon, l'asymétrie de l'échantillon, l'aplatissement de l'échantillon, etc. ; il existe également des statistiques construites pour les besoins d'analyse statistique, telles que zz des tests statistiques.statistique$z$$t$ statistique,$h^2$ Statistiques,$F$ statistique etc.
• Classification des données statistiques (pratique courante) :
  • Données catégorielles : calculez la fréquence ou les rapports de fréquence, de mode et de disparité pour chaque groupe, effectuez une analyse du tableau de contingence et $h^2$ Inspection, etc. ;
  • Données ordinales : calculez la médiane et l'intervalle interquartile, calculez le coefficient de corrélation de rang, etc. ;
  • Données numériques (divisées en variables discrètes et variables continues, les premières telles que le nombre de produits, les secondes telles que la température) : il existe davantage de méthodes statistiques d'analyse, telles que le calcul de diverses statistiques, l'estimation et le test de paramètres, etc.

0.2 Affichage graphique des données

• Affichage graphique des données :
  • Données de qualité : c'est-à-dire des données catégorielles (tableau de répartition des fréquences, divisé en tableau de contingence, tableau croisé ; diagramme circulaire, histogramme, diagramme de Pareto, diagramme en anneaux, etc.) et des données séquentielles (utilisant la fréquence cumulée pour dessiner un graphique linéaire ou une image de fréquence) .
  • Données numériques :
    • S'il s'agit d'un regroupement, par exemple, après un regroupement à intervalles égaux, calculez la fréquence au sein du groupe, puis utilisez l'histogramme ou le graphique à barres ;
    • S'il n'est pas groupé, comme les graphiques à tiges et à feuilles ou les boîtes à moustaches, les boîtes à moustaches sont moins familières. Il est possible de comparer les caractéristiques de distribution de plusieurs groupes de données, dont l'un est un ensemble de 5 caractéristiques de la valeur maximale, de la valeur minimale, de la médiane et de deux quartiles de données.
    • Dans le cas de données de séries chronologiques, un graphique linéaire.
    • S'il s'agit de données multivariées : nuage de points, graphique à bulles, graphique en radar, etc.

[Box Plot Xiao Lizi] Tracez les 8 cours de 11 étudiants dans un box plot (photo de Jia Junping - Statistics 6th Edition P59):

0.3 Mesures généralisées des données

Les bases du test d'hypothèse

Raison de l'apprentissage : Lorsque j'étudie des cours tels que la théorie des probabilités et l'analyse statistique, l'analyse statistique multivariée, etc., j'ai toujours l'impression d'avoir appris beaucoup de tests d'hypothèses, mais il me manque une généralisation systématique, donc je ne sais pas quoi type de données et quel type de données exigences pour sélectionner le test d'hypothèse correspondant.

(1) Plusieurs caractéristiques des tests d'hypothèse :

• Le test d'hypothèse traverse tous les aspects de l'analyse statistique. Dans la modélisation mathématique, nous pouvons non seulement mener une exploration exploratoire de l'information sur les données par le biais de tests d'hypothèses, mais aussi nous donner la base pour choisir un modèle ;
• Une fois la modélisation terminée, la validité du modèle peut être vérifiée par un test d'hypothèse spécifique. Il est nécessaire de sélectionner le test d'hypothèse correspondant en fonction des caractéristiques des données et des besoins de la tâche.
• Contrairement à l'analyse de régression et à d'autres tâches d'analyse statistique systématiques et structurées, chaque domaine a ses propres tests d'hypothèse qui peuvent être utilisés. Par exemple, il existe des tests de signification des coefficients de modèle dans l'analyse de régression, et des tests de racine unitaire, des tests de bruit blanc, etc. dans l'analyse des séries chronologiques.

(2) Deux grandes catégories de tests d'hypothèses (tests d'hypothèses basés sur des modèles statistiques et tests d'hypothèses non basés sur des modèles statistiques) :

• Le premier est basé sur un modèle statistique connu et "fournit des services" pour l'utilisation du modèle. Le test de signification des coefficients du modèle de régression linéaire que nous avons mentionné précédemment est un exemple typique. Pour ce test d'hypothèse, le modèle statistique correspondant peut être appris En savoir plus sur les tests d'hypothèses.
• Ce dernier (l'objectif de cette étude) est de "partir directement des données" et de tester directement certaines propriétés des données, telles que le test de normalité, le test t à deux échantillons, l'analyse de la variance, etc.

1.1 Le principe des tests d'hypothèses

(1) L'essence des tests d'hypothèses

[Châtaignier] Connu : La note moyenne de la première classe $\bar{X}=\mathrm{108,2}$ , écart-type de l'échantillon$s=4$ , le nombre de personnes$n=25$ , et selon l'expérience passée, les résultats des tests des notes montrent une distribution normale. Alors, un préfet peut-il envisager une moyenne pondérée cumulative d'au moins 110 ?

Analyse simple :
Population : scores en mathématiques de toute la classe
Un échantillon : scores en mathématiques d'une classe
Connu : la moyenne de l'échantillon $\bar{X}=108.2$
Les besoins des préfets : Peut-on en déduiresimoyenneglobaleatteint 110 à travers l'échantillon d'une classe ?

• Nous devons répondre "oui" ou "non" à la proposition selon laquelle la moyenne pondérée cumulative n'est pas inférieure à 110. Ces questions sont appelées questions de test d'hypothèse.
• Le processus de test mathématique et de réponse aux questions de test d'hypothèse est appelé test d'hypothèse.

Résumé : Ce type de test "oui ou non" et de réponse à une proposition décrivant la nature globale basée sur des informations d'échantillon et des informations connues est l'essence même du test d'hypothèse. Autrement dit, les tests d'hypothèses ne vérifient pas la nature de l'échantillon lui-même, mais la nature de la population dans laquelle se trouve l'échantillon .

Les tests d'hypothèses peuvent être grossièrement divisés en deux types : les tests d'hypothèses paramétriques et les tests d'hypothèses non paramétriques.

• Si l'hypothèse concerne un paramètre ou un ensemble de paramètres de la population, le test d'hypothèse est un test d'hypothèse paramétrique. L'hypothèse de l'exemple 1 concerne la moyenne de la population et la moyenne est un paramètre. Il s'agit donc d'un test d'hypothèse paramétrique. ;
• Si l'hypothèse ne peut pas être représentée par un ensemble de paramètres, le test d'hypothèse est un test d'hypothèse non paramétrique, un test typique est le test de normalité.

1.2 Dérivation des tests d'hypothèses

(1) L'établissement de l'hypothèse

Châtaignier 1 : Le score en mathématiques d'un élève d'une certaine classe $X$ suit une distribution normale$X\sim N\left(moi,p^2\right)$, prenons une classe d'élèves comme échantillon, la moyenne connue de l'échantillon$\bar{X}=\mathrm{108,2}$ , écart-type de l'échantillon$s=4$ , le nombre de personnes dans une classe est$n=25$ , peut-on considérer que la population moyenne$m>110$ ?

La proposition "La population moyenne $m>Que\; 110$ ” soit correct implique les deux hypothèses suivantes :
$$H_{}:m⩽110\leftrightarrow H_{}:m>110$$
$H_{}$est appelée l'hypothèse nulle, $H_{}$Connue sous le nom d'hypothèse alternative, les deux hypothèses doivent s'exclure mutuellement, car alors seulement, rejetez l'hypothèse $H_{}$équivaut à accepter l'hypothèse $H_{}$.

• La discussion sur l'établissement de la proposition se transforme en rejet de l'hypothèse nulle $H_{}$Au lieu de se concentrer sur l'acceptation de l'hypothèse alternative, c'est parce que mathématiquement nous ne pouvons pas prouver une hypothèse avec un échantillon spécial, mais nous pouvons l'utiliser pour réfuter (rejeter) une proposition. Donc,Le test d'hypothèse consiste essentiellement à explorer comment rejeter l'hypothèse nulle $H_{}$accepter l'hypothèse alternative $H_{}$.
• Ainsi dans l'Exemple.1, il nous est difficile de prouver directement la proposition $m>110$ est vrai, mais on peut le prouver en supposant$m⩽110$ erreur vérifier indirectement$m>110$ Établissement. Dans les tests d'hypothèse réels,Nous prenons généralement la proposition que nous voulons tester comme hypothèse alternative $H_{}$, en testant l'hypothèse nulle $H_{}$S'il est rejeté pour juger s'il faut accepter $H_{}$.

(2) Trois types de tests à un paramètre et précautions pour l'hypothèse nulle

Bien que nous prenions généralement la proposition que nous voulons tester comme hypothèse alternative $H_{}$, mais ce n'est pas un "critère" - il existe des tests d'hypothèse où le cadre de l'hypothèse originale/alternative est fixe, comme lors du test si la population dans laquelle se trouve un échantillon obéit à une distribution spécifique (comme un test de normalité ), on pose généralement deux hypothèses comme suit
$$H_{}:\text{La population dans laquelle se situe l'échantillon obéit à une certaine distribution}\leftrightarrow H_{}:\text{La population où se situe l'échantillon n'obéit pas à une certaine distribution}$$
Autre exemple,Dans les tests à un paramètre les plus courants, "=" n'apparaîtra que dans l'hypothèse nulle $H_{}$, mais pas dans l'hypothèse alternative $H_{}$milieu, c'est-à-dire que nous ne ferons pas des choses comme
$$H_{}:m\ne 110\leftrightarrow H_{}:m=110$$
Hypothèses.

Les trois problèmes de test à un paramètre les plus courants, prenons le test moyen comme exemple :
$$\begin{gathered} H_{}:m⩽m_{}\leftrightarrow H_{}:m>m_{} \\ {H}_{}:m⩾m_{}\leftrightarrow H_{}:m<m_{} \\ {H}_{}:m=m_{}\leftrightarrow H_{}:m\ne m_{} \end{gathered}$$
Parmi eux, les deux premiers tests sont appelés test unilatéral et le troisième test est test bilatéral. Il existe une autre manière, plus courante, d'exprimer l'hypothèse nulle des trois problèmes ci-dessus :
$$\begin{gathered} H_{}:m=m_{}\leftrightarrow H_{}:m>m_{} \\ {H}_{}:m=m_{}\leftrightarrow H_{}:m<m_{} \\ {H}_{}:m=m_{}\leftrightarrow H_{}:m\ne m_{} \end{gathered}$$

Q : Pourquoi les hypothèses nulles sont-elles toutes définies sur le signe "=" ?
Réponse : Prenons le premier problème test comme exemple : si nous acceptons $H_{}$, signifiant $\mu$ est significativement plus grand que$m_{}$tant que le rejet est égal à $m_{}$l'hypothèse, et si même égale à $m_{}$Les hypothèses sont inacceptables, moins de $m_{}$Sans parler de. Donc,Bien que cette notation ne soit pas mutuellement exclusive, son résultat est équivalent à la notation précédente.

Dans les tests paramétriques ultérieurs, le symbole de l'hypothèse nulle sera uniformément défini sur "=", et seule l'hypothèse alternative $H_{}$C'est ça.

(3) Valeur critique, domaine de rejet, niveau de signification

Dans l'Exemple.1, parce queMoyenne de l' échantillon $\bar{X}$ est la moyenne de la populationμ \muestimation impartiale de$\mu$, alors si l'hypothèse nulle est rejetée, c'est-à-dire $m>110$ , alors$\bar{X}$ a une forte probabilité d'être supérieur à 110, ce qui signifie que siéchantillon réelcalculé$\bar{X}$ est beaucoup plus grand que 110, alors l'hypothèse nulleest très susceptible d'échouer. Pour donner un critère de rejet de l'hypothèse nulle,on fixe une valeur critique$C$ , si l'échantillon réel calculé$\bar{X}$ Satisfaire$\bar{X}-110>C$ , nous rejetons l'hypothèse nulle. où,$\bar{X}-110>C$ est aussi appelé champ de refus :

$$\left\{\bar{X}:\bar{X}>110+C\right\}$$
Une fois que le résultat du calcul de l'échantillon tombe dans la région de rejet, nous rejetons l'hypothèse nulle ; sinon, l'hypothèse nulle ne peut pas être rejetée. Les domaines de rejet des différents tests d'hypothèse sont différents, mais la logique de base est exactement la même.

1) Déterminer la valeur critique C avec probabilité

La question suivante est de savoir comment déterminer la valeur critique $Qu\text{'}en\; est-il\; de\; C$ ? Déterminer avec probabilité.

En raison du caractère aléatoire de l'échantillonnage, il y a toujours une chance de faire des erreurs en jugeant la nature de la population sur la base des informations de l'échantillon, c'est-à-dire, que nous rejetions ou non l'hypothèse nulle $H_{}$, nous avons tous une probabilité de faire l'un des deux types d'erreurs suivants :

• Erreur de type 1 : hypothèse nulle $H_{}$est vrai, mais les données tombent dans le domaine de rejet (d'où le rejet $H_{}$jugement). La probabilité de commettre une erreur de type 1 est appelée probabilité de rejet $un$
• Erreur de type II : hypothèse nulle $H_{}$est faux, mais les données ne tombent pas dans le champ de rejet (d'où l'acceptation $H_{}$jugement). La probabilité de commettre une erreur de type II est appelée une pseudo -probabilité $b$

Les deux probabilités d'erreur s'opposent et se « contredisent ». Compte tenu de la taille de l'échantillon, si l'on veut réduire la probabilité d'un certain type d'erreur en ajustant les règles de test des hypothèses, cela conduira inévitablement à une augmentation de la probabilité d'un autre type d'erreur. Cela signifie que nous ne pouvons pas les contrôler et les maintenir à un niveau bas en même temps, sur cette base, nous ne pouvons que faire des compromis -Une pratique courante consiste à limiter uniquement la probabilité de commettre une erreur de type 1 $un$.

2) Le problème de la détermination de la valeur critique

Erreur de type 1 : l'hypothèse nulle est vraie, mais l'hypothèse nulle est rejetée.
Erreur de type II : l'hypothèse nulle est fausse, mais l'hypothèse nulle n'est pas rejetée.

Revenons au problème de la détermination de la valeur critique. Lorsque nous décidons des seuils, nous voulons nous assurer queProbabilité d'erreur de type 1 $\alpha$ doit être à un petit niveau donné (généralement$un=0,05/0,1$ ), à ce moment $\alpha$ est également appelé niveau de signification.

Déterminer la valeur critique $Le\; critère\; pour\; C$ est : hypothèse nulle$H_{}$est vrai, mais la probabilité que les données tombent dans la région de rejet doit être exactement le $un$ . Dans l'Exemple.1, cette probabilité peut s'écrire :
$$P_{H_{}jesuisc\text{'}estvrai\_}\left(\bar{X}-m_{}>C\right)=P\left(\bar{X}-110>C\right)=un$$

(4) Gestion des probabilités avec des distributions - Construction de statistiques de test

Processus $P\left(\bar{X}-110>C\right)$ , cette forme est comme le "quantile" de la distribution que nous avons contacté dans l'apprentissage général, l'étape suivante consiste à la construire sous la forme quantile d'une distribution, de sorte que la valeur critique$C.$ _

Remarque : 110 est en fait $\mu$ est dans l'hypothèse nulle$H_{}$valeur correcte, et $ET\left(\bar{X}\right)=\mu$ , donc la probabilité est en fait :
$$P\left(\bar{X}-ET\left(\bar{X}\right)>C\right),ET\left(\bar{X}\right)=m_{}=110$$
Puisque$\stackrel{ˉSujet}{X}$ à une distribution normale, et ssdans l'exemple.1$s$ est connu, nous pouvons construire la statistique t :
$$P\left(\bar{X}-ET\left(\bar{X}\right)>C\right)=P\left(\frac{\bar{X}-ET(\bar{X}}{s}>\frac{}{s}\right)=un,\frac{\bar{X}-ET(\bar{X}}{s}\sim t_{n-}$$
Cela signifie que $\frac{}{s}$Exactement $t_{n-}\left(1-\alpha \right)$ quantiles, qui sont connus pour une distribution donnée, donc$C$ est résolu
$$C=s\cdot t_{n-}\left(1-\alpha \right)$$
Nous le substituons dans la formule ci-dessus pour avoir
$$P\left(\frac{\bar{X}-ET(\bar{X}}{s}>\frac{}{s}\right)=P\left(\frac{\bar{X}-m_{}}{s}>\frac{s\cdot t_{n-}(1-un}{s}\right)=P\left(\bar{X}>m_{}+s\cdot t_{n-}\left(1-un\right)\right)=\alpha$$
est : tant que$\bar{X}>110+s\cdot t_{n-}\left(1-\alpha \right)$ , on peut alorsau niveau de significationα \alphaL'hypothèse nulle est rejetée sous$\alpha$ .

• Dans le processus ci-dessus, nous utilisonsconnuLa statistique construit une statistique qui obéit à une certaine distribution pour nous aider à calculer la probabilité, et la statistique construite est la statistique de test .
• Différentes statistiques de test ont différentes formes et différentes distributions, mais l'idée de test d'hypothèse a quelque chose en commun :Construire la statistique de test - sortir le quantile de la distribution correspondante - calculer la valeur critique (domaine de rejet) - porter un jugement.

Dans l'exemple ci-dessus, la statistique de test est
$$t=\frac{\bar{X}-m_{}}{s}$$
Le quantile correspondant à la distribution t est
$$t_{n-}\left(1-\alpha \right)$$
Le domaine de rejet est
$$\bar{X}>110+s\cdot t_{n-}\left(1-\alpha \right)$$
python implémente manuellement le processus de test d'hypothèse ci-dessus :

## 加载包
import numpy as np
import pandas as pd
from scipy.stats import t

n=25 
x_bar=108.2
s=4
mu=110

# 计算检验统计量
tvalue=(x_bar-mu)/s
print('t值为：{}'.format(tvalue))

# 输出分位点
'''
ppf:单侧左分位点
isf:单侧右分位点
interval:双侧分位点
'''
T_isf=t.isf(0.05,n-1) #由于备择假设是大于号，因此应当选用单侧右分位点，0.05为显著性水平a，n-1为自由度
# 如果备择假设是小于号，则应选用单侧左分位点ppf，里面的参数设置不变，依次为显著性水平a与分布自由度

print('分位点为：{}'.format(T_isf))
# 拒绝域
Deny_domain=110+s*T_isf
print('拒绝域的临界点为：{}'.format(Deny_domain))

# 判断
print('样本均值是否位于拒绝域：{}'.format(x_bar>Deny_domain))
print('因此，不能拒绝原假设，不能认为总体均值大于110.')

#t值为：-1.7999999999999972
#分位点为：1.7108820799094282
#拒绝域的临界点为：116.84352831963771
#样本均值是否位于拒绝域：False
#因此，不能拒绝原假设，不能认为总体均值大于110.

Bien sûr, la région de rejet peut aussi être directement représentée par la statistique de test et le quantile de distribution correspondant
$$t>t_{n-}\left(1-\alpha \right)$$
C'est plus pratique et plus général, car on ne passe plus de temps à calculer la valeur critique$C.$ _ Les domaines de rejet des trois tests d'hypothèse (en prenant la distribution normale comme exemple) sont présentés dans la figure suivante

On peut voir que les trois quantiles hypothétiques correspondent respectivement au quantile droit, au quantile gauche et au quantile bilatéral. Dans les applications pratiques, on peut utiliser l'hypothèse alternative $H_{}$symbole, sélectionnez le quantile correspondant pour construire un domaine de rejet.

# 直接用检验统计量与分布分位点判断
print('检验统计量是否位于拒绝域：{}'.format(tvalue>T_isf))
# 检验统计量是否位于拒绝域：False

En supposant un test bilatéral utilisant les données de l'Exemple.1
$$H_{}:m=110\leftrightarrow H_{}:m\ne 110$$
Alors le domaine de rejet est
$$|t|>\left|t_{n-}\left(1-\frac{}{2}\right)\right|$$

# 进行双边检验
## 计算双侧分位点
T_int=t.interval(1-0.05,n-1) # 对于双侧检验（双侧分位点），分位点参数应该输入1-a，这里是1-0.05=0.95
print('检验统计量t的绝对值：{}'.format(np.abs(tvalue)))
print('双侧分位点：{}'.format(T_int))
print('显然，检验统计量不在拒绝域内，因此无法拒绝原假设')

#检验统计量t的绝对值：1.7999999999999972
#双侧分位点：(-2.0638985616280205, 2.0638985616280205)
#显然，检验统计量不在拒绝域内，因此无法拒绝原假设

1.3 Étapes de base du test d'hypothèse - basées sur les valeurs de p

• Un inconvénient de l'utilisation de la méthode du domaine de rejet pour les tests d'hypothèse est que la valeur du quantile et le niveau de signification $\alpha$ est pertinent. Si nous voulons tester à différents niveaux de signification, nous devons calculer différents quantiles de comparaison, ce qui est très fastidieux.
• Valeur de p : tant que les informations sur l'échantillon et l' hypothèse sont déterminées, vous pouvez vous fier à un indicateur constant pour déterminer s'il faut rejeter l'hypothèse nulle. La valeur de p est le niveau de signification minimum qui peut rejeter l'hypothèse nulle sous la valeur d'observation de l'échantillon déterminée, et la valeur de p n'est liée qu'à la valeur d'observation de l'échantillon et au test d'hypothèse que nous effectuons. Plus la valeur de p est petite, plus l'hypothèse nulle est rejetée.

Plus la valeur de p est petite, plus l'hypothèse nulle peut être rejetée. Par exemple, si la valeur de p est de 0,001, ce qui est inférieur au niveau de confiance de 0,01, nous pensons que nous pouvons également rejeter l'hypothèse nulle au niveau de confiance de 0,01 ; et si la valeur de p est de 0,025, le niveau de confiance de 0,01 est supérieur, mais inférieur à 0,05, alors nous pensons que nous pouvons rejeter l'hypothèse nulle au niveau de confiance de 0,05, mais pas au niveau de confiance de 0,01 .

La valeur p est sous la forme de l'hypothèse alternative que nous faisons $H_{}$en relation:

• Si $H_{}$La notation est $\ne$，则：$valeurp\_\_\_\_=P\left(|X|>|Test\_\_stunetjestjecs|\right)$
• Si $H_{}$的符号为>，则：$valeurp\_\_\_\_=P(X>Test\_\_statistiques)\_\_\_\_\_\_\_\_$
• Si $H_{}$的符号为<，则：$valeurp\_\_\_\_=P(X<Test\_\_statistiques)\_\_\_\_\_\_\_\_$

dans:

• X est une variable qui obéit à une distribution spécifique ;
• Les statistiques de test sont les statistiques de test mentionnées précédemment.
• La valeur de p est essentiellement une probabilité cumulée. Pour l'hypothèse alternative avec le symbole >, la valeur de p est la probabilité cumulée à droite ; pour l'hypothèse alternative avec le symbole <, la valeur de p est la probabilité cumulée sur la gauche ; et pour le même En termes de statistiques de test, la valeur de p d'un test bilatéral est le double de celle d'un certain type de test unilatéral.

# 利用example.1的数据进行三种假设检验
# 利用p值进行假设检验
'''
sf:右尾累积概率
cdf:左尾累积概率
'''
# 若备择假设为mu>110
pvalue=t.sf(tvalue,n-1) 
print('备择假设为mu>110的p值为：{}'.format(pvalue))

# 若备择假设为mu<110
pvalue=t.cdf(tvalue,n-1)
print('备择假设为mu<110的p值为：{}'.format(pvalue))

# 若备择假设为mu不等于110
pvalue=t.cdf(tvalue,n-1)*2 # 之所以是左尾累积概率的两倍，是因为右尾累积概率大于0.5，而p值不可能大于1。
print('备择假设为mu不等于110的p值为：{}'.format(pvalue))

#备择假设为mu>110的p值为：0.9577775745385242
#备择假设为mu<110的p值为：0.042222425461475775
#备择假设为mu不等于110的p值为：0.08444485092295155

Remarque : L'utilisation de la valeur p pour les tests d'hypothèses est plus courante dans les applications pratiques. Tous les packages de test d'hypothèses en python génèrent des statistiques de test et des valeurs p. Dans l'apprentissage ultérieur, les valeurs p sont uniformément utilisées pour les tests d'hypothèses.

Le module python scipy.statscontient de nombreux types d'API de test d'hypothèses qui peuvent être utilisées directement, mais comparé à SPSS et R, qui se spécialisent dans l'analyse statistique, python a relativement peu de fonctions de test d'hypothèses. Si un certain python de test d'hypothèse n'a pas son API correspondante, vous devez calculer manuellement la valeur p. Par exemple, le test suivant de Hotelling T2 sur le vecteur moyen.

[Résumé] Les étapes de base du test d'hypothèse basé sur la valeur p :

1. Déterminer l'hypothèse alternative $H_{}$, le signe de l'hypothèse alternative détermine la probabilité cumulative que nous utilisons.
2. Clarifiez la formule des statistiques de test. Différents tests d'hypothèse ont leurs propres statistiques de test. Vérifiez les données pour les trouver !
3. La probabilité cumulée ne peut être calculée qu'en spécifiant la distribution à laquelle suit la statistique de test.
4. D'après l'hypothèse alternative $H_{}$Calculez les valeurs p avec les statistiques de test.
5. Associer la valeur de p au niveau de signification α \alphaComparaison$alpha$$p>\alpha$ , l'hypothèse nulle ne peut pas être rejetée ; si$p<\alpha$ , l'hypothèse nulle peut être rejetée.

1.4 Classification des tests d'hypothèses

Les tests d'hypothèses courants sont classés en fonction des types de données et des caractéristiques des données. Dans les applications pratiques, les tests d'hypothèses correspondants peuvent être sélectionnés directement en fonction des caractéristiques des données à analyser et des tâches d'analyse :

• Pour certains des tests d'hypothèse les plus courants et les plus importants (tels que divers tests t), apprenez brièvement les principes ;
• Apprenez à utiliser des tests peu courants et difficiles à expliquer, comme les tests de normalité.

2. Test d'hypothèse pour des données numériques unaires

Le contenu du test d'hypothèse des moyennes intergroupes dans les données numériques unaires , apprenez à tester les propriétés de la moyenne de la population dans laquelle les données de l'échantillon sont utilisées et montrez comment implémenter chaque test en python. contenu:

1. test de normalité
2. Un test qui compare la moyenne de la population d'un ensemble de données pour l'égalité avec une valeur fixe
3. Un test pour comparer l'égalité entre les moyennes de population de deux ensembles de données
4. Tests d'égalité entre les moyennes de population de plus de deux groupes de données

Dans le test de 2 à 4, il peut être divisé en deux cas. Si les données sont approximativement distribuées normalement, alors des tests paramétriques - des tests t peuvent être utilisés, qui sont plus sensibles que les tests non paramétriques, mais doivent satisfaire l'hypothèse de normalité ; si les données ne sont pas distribuées normalement, alors certains tests non paramétriques peuvent être utilisés .

2.1 Test de normalité

Étant donné que les tests paramétriques sont plus sensibles que les tests non paramétriques, nous devrions utiliser des tests paramétriques une fois que les données sont normalement distribuées, et il est très nécessaire de tester la normalité des données.

Ici, nous fournissons trois méthodes pour vous aider à juger de la normalité des données : jugement visuel - carte de probabilité de distribution normale ; test de Shapiro-Wilk ; test K-carré de D'Agostino

(1) Carte de probabilité

En statistique, avec de nombreux outils d'évaluation visuelle des distributions, les diagrammes de probabilité en font partie.

# 生成1000个服从正态分布的数据
data_norm = stats.norm.rvs(loc=10, scale=10, size=1000) # rvs(loc,scale,size):生成服从指定分布的随机数，loc：期望；scale：标准差；size：数据个数
# 生成1000个服从卡方分布的数据
data_chi=stats.chi2.rvs(2,3,size=1000)

# 画出两个概率图
fig=plt.figure(figsize=(12,6))
ax1=fig.add_subplot(1,2,1)
plot1=stats.probplot(data_norm,plot=ax1) # 正态数据
ax2=fig.add_subplot(1,2,2)
plot2=stats.probplot(data_chi,plot=ax2) # 卡方分布数据

Pour un échantillon de données donné, le diagramme de probabilité :

• Mettez d'abord les données $Trier\; x$ de petit à grand et calculer les données triéesxxLe quantile de distribution correspondant à$x\; ;$
• Ensuite, tracez les points de données dans un graphique bidimensionnel avec les quantiles comme axe horizontal et les valeurs d'échantillon ordinales comme axe vertical.
• Si les données suivent approximativement la distribution cible, les points de données suivront approximativement la ligne $Oui=distribution\; x$ , si les données ne suivent pas la distribution cible, nous observerons que les points de données s'écartent de la ligne$Oui=x$。

(2) Deux tests de normalité

Les diagrammes de probabilité ne peuvent dire qu'approximativement si les données sont normales ou non, mais ils ne sont pas précis. Afin de juger plus précisément si la population de l'échantillon est normalement distribuée, un test de normalité strict doit être effectué.

Les deux hypothèses du test de normalité sont les suivantes :
$$H_{}:\text{La population dans laquelle se situe l'échantillon obéit à une distribution normale}\leftrightarrow H_{}:\text{Il existe de nombreux types de tests de normalité indiquant que la population de l'échantillon n'obéit pas à la distribution normale}$$
. Voici seulement deux des tests d'hypothèse les plus couramment utilisés et les plus puissants : le test de Shapiro-Wilk pour les petits échantillons ; le test K de D'Agostino pour les grands échantillons - test au carré.

1) Test de Shapiro-Wilk (test de normalité sur petit échantillon)

Le test de Shapiro-Wilk est l'une des méthodes les plus efficaces pour tester la normalité. C'est une méthode pour tester la normalité dans les statistiques de fréquence, et son principe théorique est relativement compliqué.

Cette méthode convient aux problèmes de test de normalité avec de petits échantillons car :Ce test fonctionne mieux lorsque chaque valeur d'échantillon est unique, et une fois qu'il y a trop d'échantillons, il est inévitable que plusieurs valeurs d'échantillons soient répétées, ce qui réduira considérablement l'efficacité de cette méthode.

Champ d'application de la taille de l'échantillon : La taille de l'échantillon ne doit pas être inférieure à 8, moins de 50 est la meilleure, moins de 2000 est la meilleure, et elle n'est plus applicable si elle dépasse 5000.

2) Test K-carré de D'Agostino (test de normalité sur grand échantillon)

Le test K-carré de D'Agostino quantifie principalement la différence et l'asymétrie entre la courbe de distribution des données et la courbe de distribution normale standard en calculant l'asymétrie (Skewness) et le kurtosis (Kurtosis), puis calcule ces valeurs et la valeur attendue de la distribution normale le degré de différence entre.

Cette méthode est une méthode de test de normalité courante et puissante adaptée aux grands échantillons. En effet, l'asymétrie et l'aplatissement de la courbe de distribution sont facilement affectés par la quantité de données. Plus la quantité de données est importante, plus le calcul de l'asymétrie et de l'aplatissement est précis.

Champ d'application de la taille de l'échantillon : La taille de l'échantillon ne doit pas être inférieure à 4, sinon plus elle est grande, mieux c'est.

(3) Utiliser plusieurs méthodes pour juger de la normalité en même temps

Dans les applications pratiques, en raison de la complexité des données, l'utilisation d'une seule méthode pour juger de la normalité peut produire certaines erreurs, nous utilisons donc généralement plusieurs méthodes pour juger en même temps. Si les conclusions tirées par différentes méthodes sont différentes, il est nécessaire d'observer attentivement les caractéristiques des données et de trouver les raisons des résultats incohérents. Par exemple : si le test de Shapiro-Wilk est significatif (non normal) et que le test du K au carré de D'Agostino n'est pas significatif (normal), cela peut être dû au fait que la taille de l'échantillon est importante ou qu'il existe des valeurs en double dans l'échantillon, si tel est le cas, alors nous devrions adopter la conclusion du test K-carré de D'Agostino plutôt que la conclusion du test de Shapiro-Wilk.

[Code Practice] Définissez une fonction en python qui combine la carte de probabilité, le test de Shapiro-Wilk et le test K-squared de D'Agostino.

data_small = stats.norm.rvs(0, 1, size=30) # 小样本正态性数据集
data_large = stats.norm.rvs(0, 1, size=6000) # 大样本正态性数据集

# 定义一个正态性检验函数，它可以输出：
## 正态概率图
## 小样本Shapiro-Wilk检验的p值
## 大样本D'Agostino's K-squared检验的p值

from statsmodels.stats.diagnostic import lilliefors
from typing import List

def check_normality(data: np.ndarray, show_flag: bool=True) -> List[float]:
    """
    输入参数
    ----------
    data : numpy数组或者pandas.Series
    show_flag : 是否显示概率图
    Returns
    -------
    两种检验的p值；概率图
    """

    if show_flag:
        _ = stats.probplot(data, plot=plt)
        plt.show()

    pVals = pd.Series(dtype='float64')
    # D'Agostino's K-squared test
    _, pVals['Omnibus'] = stats.normaltest(data) 

    # Shapiro-Wilk test
    _, pVals['Shapiro-Wilk'] = stats.shapiro(data)

    print(f'数据量为{
      
      len(data)}的数据集正态性假设检验的结果 : ----------------')
    print(pVals)

check_normality(data_small,show_flag=True)
check_normality(data_large,show_flag=False) # 当样本量大于5000，会出现警告

2.2 Test moyen

Effectuez le test de la moyenne globale de l'échantillon numérique univarié. Chaque test de moyenne aura un test paramétrique correspondant (test t) et un test non paramétrique au choix.

(1) Test de l'hypothèse d'une moyenne d'échantillon d'un seul groupe

Scénario d'application : tester si la moyenne de la population dans laquelle se trouve un échantillon est égale à une valeur de référence , qui est le test de l'hypothèse de la moyenne d'un seul groupe d'échantillons.

Le problème test de l'Exemple.1 est en fait ce type de test (bien que l'hypothèse alternative doive être remplacée par $\ne$ ).

Exemple.2 Au collège de Bisheng, la classe de M. Chen a terminé un test d'anglais. En raison du grand nombre d'élèves dans la classe, il est difficile de compléter la correction et les statistiques en peu de temps. M. Wang a également voulu savoir s'il existe une différence significative entre le score moyen de cette classe et l'objectif. sur 137 fixé par le préfet Les notes en anglais des 10 meilleurs élèves :

136,136,134,136,131,133,142,145,137,140

Q : M. Wang, pouvez-vous penser qu'il n'y a pas de différence significative entre la note moyenne de cette classe et l'objectif de 137 pour la classe fixé par le préfet ?
Il s'agit d'un test typique de l'hypothèse d'une moyenne d'échantillon d'un seul groupe, comparant si la moyenne globale (moyenne des scores en anglais de la classe) représentée par cet échantillon (les scores en anglais de 10 étudiants) est égale à la valeur de référence de 137. Donc, pour ce genre de problème, nous avons deux types de tests à utiliser : le test t à un échantillon et le test de Wilcoxon.

1) Test t à un échantillon (test t à un échantillon)

Le test t exige que la population obéisse à une distribution normale, c'est-à-dire que
$$X\sim N\left(moi,p^2\right)$$
Dans l'exemple 2, cela signifie que les scores d'anglais de chaque élève de la classe de M. Wang doivent obéir à une distribution normale. Dans un test t, l'écart type de la population$\sigma$ n'a pas besoin d'être connu à l'avance, ce qui est différent du test z dans la théorie des probabilités et les statistiques mathématiques, de sorte que le test t est plus largement utilisé dans la pratique.

Flux de base des tests d'hypothèses à l'aide de valeurs p. (selon 1.1.3)

Les deux hypothèses du test t à un échantillon sont :
$$H_{}:m=m_{}\leftrightarrow H_{}:m\ne m_{}$$
Les statistiques de test correspondantes sont :
$$Test\_\_statistics=\frac{\bar{X}-m_{}}{s}$$
La distribution des statistiques de test est :
$$Test\_\_statistics\sim t_{n-}$$
où, $n$ est la taille de l'échantillon. Nous pouvons calculer la valeur p sur la base des informations ci-dessus.

2) test de somme des rangs signés de Wilcoxon

Si les données de l'échantillon ne sont pas normales, nous devons utiliser le test de somme des rangs signés de Wilcoxon. Ce test est un test non paramétrique très classique, et le principe du test non paramétrique est introduit :

(1) Tout d'abord, qu'est-ce que le "rang".
Soit $X_{},\cdots ,X_{}$Pour les échantillons aléatoires simples d'une distribution continue, nous les trions de petit à grand pour obtenir des échantillons ordonnés $X_{(1}⩽\cdots ⩽X_{(n}$. Observations $X_{}$ordinal rr dans les échantillons ordonnés$r$ est appelé$X_{}$rang. Par conséquent, le rang est en fait la valeur de l'échantillon $X_{}$La signification de "plus petit" dans tous les échantillons.

Test de la somme des rangs, il doit y avoir une "somme des rangs". Soit $X_{},\cdots ,X_{}$sont des échantillons, effectuez une transformation de valeur absolue sur eux, puis enregistrez $R_{}$Parce que ∣ xi ∣ | x_i $|x\_{}_{}|$在$\left(|x{\_}_{}|,\cdots ,|x\_{}_{}|\right)$的秩。记
$$je\left(x_{}>0\right)=\{\begin{array}{ll}1,& X_{}>0\\ 0& X_{}\ne \end{array}$$
则称
$${Dans}^{+}=\sum _{je=1}{R}_{}je\left(x_{}>0\right)$$
est la statistique de la somme des rangs.

(2) Étapes du test de la somme des rangs signés de Wilcoxon.
Les deux hypothèses du test de somme des rangs signés de Wilcoxon pour la comparaison moyenne à un échantillon sont toujours
$$H_{}:m=m_{}\leftrightarrow H_{}:m\ne m_{}$$
Pour les échantillons à analyser $X_{},\cdots ,X_{}$, laissez tous les échantillons soustraire la valeur de contraste $m_{}$，得：$X_{}-m_{},\cdots ,X_{}-m_{}$, calculez leur statistique de somme de rang ${Dans}^{+}$ .

(3) Les statistiques de test peuvent être calculées comme
$$Test\_\_statistics=\frac{{Dans}^{+}-\frac{n(n+1}{4}}{\sqrt{\frac{n(n+1)(2n+1}{vingt-quatre}}}$$
Les statistiques de test suivent approximativement la distribution
$$Test\_\_statistics\to N\left(0,1\right)$$
où,$n$ est la taille de l'échantillon.

(4) Calcul de la p-value et hypothèse alternative $H_{}$est lié au signe de , qui est le même que le test t.

Cette méthode est mieux utilisée lorsque la taille de l'échantillon est supérieure à 25, car alors la statistique de test est approximativement distribuée normalement. La taille de l'échantillon dans l'exemple 2 est de 10, ce qui n'est pas strictement approprié.

# 定义一个单组样本均值检验函数，使它可以同时输出t检验与wilcoxon符号秩和检验的p值
def check_mean(data,checkvalue,confidence=0.05,alternative='two-sided'):        
    '''
    输入参数
    ----------
    data : numpy数组或者pandas.Series
    checkvalue : 想要比较的均值
    confidence : 显著性水平
    alternative : 检验类型，这取决于我们备择假设的符号:two-sided为双侧检验、greater为右侧检验、less为左侧检验

    输出
    -------
    在两种检验下的p值
    在显著性水平下是否拒绝原假设
    '''
    pVal=pd.Series(dtype='float64')
    # 正态性数据检验-t检验
    _, pVal['t-test'] = stats.ttest_1samp(data, checkvalue,alternative=alternative)
    print('t-test------------------------')
    if pVal['t-test'] < confidence:
      print(('目标值{0:4.2f}在显著性水平{1:}下不等于样本均值(p={2:5.3f}).'.format(checkvalue,confidence,pVal['t-test'])))
    else:
      print(('目标值{0:4.2f}在显著性水平{1:}下无法拒绝等于样本均值的假设.(p={2:5.3f})'.format(checkvalue,confidence,pVal['t-test'])))

    # 非正态性数据检验-wilcoxon检验
    _, pVal['wilcoxon'] = stats.wilcoxon(data-checkvalue,alternative=alternative)
    print('wilcoxon------------------------')    
    if pVal['wilcoxon'] < confidence:
      print(('目标值{0:4.2f}在显著性水平{1:}下不等于样本均值(p={2:5.3f}).'.format(checkvalue,confidence,pVal['wilcoxon'])))
    else:
      print(('目标值{0:4.2f}在显著性水平{1:}下无法拒绝等于样本均值的假设.(p={2:5.3f})'.format(checkvalue,confidence,pVal['wilcoxon'])))
    
    return pVal

Qu'il s'agisse d'un test t ou d'un test de Wilcoxon, la valeur p est assez grande. Évidemment, nous ne pouvons pas rejeter l'hypothèse nulle. Le professeur Wang peut penser que la classe est divisée en 137.

(2) Le test d'égalité des moyennes des deux groupes d'échantillons

1) Indépendance entre les groupes

Test t à deux échantillons Test
de somme des rangs de Mannwhitneyu

2) Groupes jumelés

Test t
apparié Test de somme des rangs signés de Wilcoxon apparié

(3) Analyse de la variance (test d'égalité des moyennes entre plusieurs groupes d'échantillons)

Nous avons déjà appris le test de la moyenne d'un seul groupe d'échantillons et de deux groupes d'échantillons, puis nous commençons à apprendre à tester la moyenne de la population de plusieurs groupes d'échantillons en même temps.

Analyse de la variance (ANOVA) : Une méthode statistique pour comparer les moyennes de plusieurs populations. Ce qui suit se concentre sur l'apprentissage : les principes et les idées de l'analyse unidirectionnelle de la variance, et comment appliquer la variance multifactorielle.

1) Introduction à l'ANOVA

[Analyse de la variance] Une méthode statistique pour comparer les moyennes de plusieurs populations. Facteurs dans l'ANOVA à une/multivariée ? Exemples de trois questions ANOVA :

1. Si les indicateurs de qualité d'un même type de produit avec quatre marques différentes sont cohérents.
2. Le fait de prendre trois méthodes de vente différentes pour le même produit entraîne-t-il des volumes de ventes significativement différents ?
3. S'il existe des différences significatives dans le pouvoir d'achat des résidents dans cinq zones résidentielles différentes.

Dans ces exemples, les marques, les méthodes de vente, les zones résidentielles, etc.Base pour différencier les groupesest un facteur (également appelé un facteur), généralement avec des lettres majuscules $Un,B,C$ , etc. représentent ces facteurs, et les différents états d'un facteur sont appelés niveaux, avec${UN}_{},{UN}_{}$etc dit. Dans les trois exemples, il n'y a qu'un seul facteur, ce sont donc tous des ANOVA à un facteur ; s'il y a plus d'un facteur, on parle d'ANOVA à plusieurs facteurs.

Pour l'ANOVA unidirectionnelle, le nombre d'échantillons à comparer est essentiellement le nombre de niveaux du facteur. Par exemple, dans l'exemple 1., nous comparons en fait les moyennes d'échantillons de quatre indicateurs de qualité de produits avec différentes marques (la moyenne de la population dans laquelle ils se trouvent). Dans cet exemple, le nombre de niveaux de facteur pour le facteur "marque " vaut 4.

Quelle est la méthode de comparaison pour comparer plusieurs moyennes de population dans ANOVA ? Ce n'est pas une comparaison entre les deux, c'estComparez-les en même temps, écrit sous forme de test d'hypothèse :
$$H_{}:m_{}=m_{}=m_{}=\cdots m_{}\leftrightarrow H_{}:m_{}\text{pas tous égaux}$$
où,$k$ est le nombre d'échantillons (niveaux de facteurs).
Lorsque les moyennes de la population ne sont pas toutes égales :

2) ANOVA unidirectionnelle

3) ANOVA bidirectionnelle

• L'ANOVA unidirectionnelle a pour fonction de comparer plusieurs moyennes de population, mais son essence estFacteur d'enquête $Est\; A$ significatif. S'il est significatif, cela signifie que ces moyennes de population ne sont pas égales en raison du facteur $Causé\; par\; A$ ; s'il n'est pas significatif, cela signifie le facteur$A$ ne peut pas les rendre inégaux.
• Si nous augmentons le nombre de facteurs à deux, l'ANOVA devient une ANOVA à deux facteurs. Il convient de noter que l'ANOVA à deux facteurs explore non seulement si les deux facteurs sont significatifs, mais également si le terme d'interaction des deux facteurs est significatif (similaire à l'analyse de régression). Pour ce type d'analyse multivariée de la variance, l'emprunt de modèles de régression linéaire pour résoudre le problème peut faire plus avec moins.

3. Petits exercices

Trois tours produisent la même boule, et nous extrayons 13, 14 et 16 produits de chacun, et les diamètres mesurés sont :
Un tour : 15,0, 14,5, 15,2, 15,5, 14,8, 15,1, 15,2, 14,8, 13,9, 16,0, 15,1 , 14,5, 15,2 ;
Tour B : 15,2, 15,0, 14,8, 15,2, 15,0, 15,0, 14,8, 15,1, 14,8, 15,0, 13,7, 14,1, 15,5, 15,9 ;
Tour C : 14,6, 15,0, 15,7, 13,5 ,15.5,16.2,16.1,15.3,15.4,15,9,15.2,16.0,14.8,14.9

Supposons que le niveau de signification est $un=\mathrm{0,01}$ , Q :

1. Les diamètres des billes produites par le tour A/B obéissent-ils à une distribution normale ?

2. Y a-t-il une différence significative dans la variance du diamètre de la bille produite par le tour A/B ?

3. Y a-t-il une différence significative dans le diamètre des billes produites par le tour A/B ?

4. Y a-t-il une différence significative dans les diamètres des billes produites par les trois tours ? Dans l'ANOVA à un facteur, quels sont les facteurs de cette question ?

Pièce jointe : calendrier

Tâche	contenu	temps
Tâche01	Test d'hypothèse 1 : Méthodologie et test numérique unaire	8-13 - Jeudi 8-18
Tâche02	Test d'hypothèse 2 : test vectoriel numérique multivarié	8-29 - Samedi 8-20
Tâche03	Test d'hypothèse 3 : test de données catégorielles	8-21 - 8-22 Lundi
Tâche04	Processus stochastiques appliqués et systèmes de simulation	8-23 - 8-25 Jeudi
Tâche05	Analyse quantitative financière et simulation stochastique	8-26 - Dimanche 9-28

Référence

[1] https://github.com/Git-Model/Modeling-Universe/tree/main/Data-Story
[2] cours datawhale
[3] Test de normalité des données dans les statistiques