Puissance statistique pour les tests de comparaison des moyennes

Puissance statistique pour la comparaison des moyennes

Il y a plusieurs tests permettant de comparer des moyennes. XLSTAT propose le test t de Student ou le test z. XLSTAT permet d'estimer la puissance de ces tests ou de calculer le nombre d'observations nécessaires afin d'obtenir une puissance suffisante. Cet outil permet également d'utiliser des tests non paramétriques comparant des notions proches de la moyenne. On peut ainsi utiliser le test de Mann-Whitney, le test du signe et le test de Wilcoxon signé.

Lorsqu'on teste une hypothèse à l'aide d'un test statistique, on a plusieurs éléments à choisir :

• L'hypothèse nulle H0 et l'hypothèse alternative Ha.
• Le test statistique à utiliser
• L'erreur de première espèce (erreur de type I) que l'on appelle aussi alpha. Elle se produit lorsqu'on rejette l'hypothèse nulle alors qu'elle est vraie. Elle est fixée a priori pour chaque test et vaut 5%.

L'erreur de seconde espèce ou beta est moins étudiée mais elle revêt une grande importance. En effet, elle représente la probabilité que l'on ne rejette pas l'hypothèse nulle alors qu'elle est fausse. On ne peut pas la fixer a priori mais, on peut essayer de la minimiser, en jouant sur les autres paramètres du modèle. La puissance d'un test est calculée comme 1-beta et représente la probabilité que l'on rejette l'hypothèse nulle alors qu'elle est bien fausse. On voudra donc maximiser la puissance du test. XLSTAT permet de calculer cette puissance (ainsi que beta) lorsque les autres paramètres du test sont connus. D'autre part, il permet pour une puissance donnée d'évaluer la taille de l'échantillon nécessaire à l'obtention de cette puissance.

Les calculs de puissance en statistique se font généralement avant que l'expérience ne soit menée. On s'en sert principalement pour estimer le nombre d'observations nécessaire pour que l'expérience ait la qualité statistique requise. XLSTAT permet donc de comparer :

• Une moyenne à une constante (avec les tests z, t et Wilcoxon signé)
• Deux moyennes associées à des échantillons appariés (avec les tests z, t et Wilcoxon signé)
• Deux moyennes associées à des échantillons indépendants (avec les tests z, t et Mann-Whitney)

On utilisera le test t lorsque la variance sur la population est estimée et le test z lorsque celle-ci est connue.

Calcul de la puissance statistique d’un test pour la comparaison des moyennes

Les aides dédiées aux tests t et z détaillent les méthodes en elles-mêmes. La puissance d'un test est généralement obtenue à l'aide de la distribution non centrale associée. Ainsi, pour le test t, la distribution non centrale de Student est utilisée.

Puissance du test t de Student ou test Z pour un échantillon

La puissance de ce test est obtenue en utilisant la distribution non centrale de Student avec comme paramètre de non centralité : NCP = |(X - X0)/SD) - √N| avec X0 moyenne théorique et SD écart-type.

La partie (X - X0)/SD est appelée taille de l'effet (effect size), il arrive que l'on fasse varier celle-ci.

Puissance statistique du test t Student ou test Z pour deux échantillons appariés

La même formule s'applique que dans le cas à un seul échantillon mais l'écart-type se calcule de manière différente, on a donc : NCP = |(X1 - X2)/SDDiff) - √N| Avec SDDiff= √(SD1² + SD2²) – 2 corr*SD1SD2 et Corr la corrélation entre les deux échantillons. La partie X1 - X2)/SDDiff est appelée taille de l'effet (effect size), il arrive que l'on fasse varier celle-ci.

Puissance statistique pour un test t de Student ou test Z pour deux échantillons indépendants

Dans le cas de deux échantillons indépendants, l'écart-type sera calculé différemment et on utilisera la moyenne harmonique du nombre d'observations.

Calcul de la taille de l'échantillon à partir de la puissance statistique

Afin de calculer le nombre d'observations nécessaires, XLSTAT utilise un algorithme de recherche de racine d'une fonction appelé algorithme Van Wijngaarden-Dekker-Brent (Brent, 1973). Cet algorithme est adapté au cas où les dérivées de la fonction ne sont pas connues. On cherche ainsi N tel que

puissance_test(N)-puissance_recherchée=0

On obtient donc la taille N telle que la puissance soit la plus proche possible de la puissance recherchée.

Taille de l'effet (effect size) pour la puissance d’un test

Ce concept est très important dans les calculs de puissance. En effet, Cohen (1988) a développé ce concept qui va permettre de s'affranchir d'entrer tous les paramètres du modèle (qui sont d'ailleurs souvent inconnus). La taille de l'effet est une grandeur qui va permettre de calculer la puissance d'un test sans entrer tous les paramètres mais qui permettra de dire si l'effet des paramètres à tester est faible ou fort.

Dans le cadre des comparaisons de moyennes, les conventions de grandeurs de la taille de l'effet d sont :

• d=0,2, l'effet est faible.
• d=0,5, l'effet est modéré.
• d=0,8, l'effet est fort.

XLSTAT permet d'entrer directement la taille de l'effet.