Analyse de Fiabilité

Qu'est-ce que l'Analyse de Fiabilité ?

L'analyse de fiabilité permet de caractériser des échelles de mesure composées de divers éléments (par exemple des questions dans le cas d'un questionnaire). La procédure utilisée calcule plusieurs mesures qui permettent d'évaluer la fiabilité de l'échelle et propose également des informations sur les relations entre les différents éléments.

Détails

L'analyse de fiabilité est utilisée dans différents domaines et plus particulièrement dans les sciences sociales. La terminologie est issue de la psychométrie. On définit ainsi un test, qui est lui-même composé d'un ensemble de questions. Les questions sont appelées éléments. Ces éléments sont regroupés en construits homogènes (construct en anglais) aussi appelés facteur, échelle de mesure, variable latente ou concept. Par exemple, l'aptitude graphique est un facteur dont on voudra mesurer le niveau au travers d'une échelle de mesure. Le but de l'analyse de fiabilité est de vérifier que l'échelle de mesure est fiable, autrement dit que les différentes questions d'un construit sont cohérentes, qu'elles mesurent bien la même chose. Par exemple, si l'on s'intéresse à l'aptitude graphique, une question de calcul mental nuirait à la cohérence de l'échelle.

Pour le statisticien les questions sont des variables souvent mesurées sur des échelles de type Likert (réponses graduées). Les résultats d'un test effectué auprès d'un ensemble d'individus sont consignés dans un tableau individus/variables. Ces méthodes pouvant être utilisées dans d'autres domaine comme le contrôle qualité, XLSTAT désigne ces tableaux comme des tableaux observations/variables.

Les méthodes implémentées dans XLSTAT permettent d'estimer la cohérence interne d'une échelle de mesure, autrement dit de voir si les résultats des différentes questions, censées mesurer le même phénomène, sont cohérents mais aussi la corrélation entre deux tests administrés aux mêmes individus à deux moments différents.

L'analyse interne permet d'une part de déterminer quels éléments d'un questionnaire sont corrélés en fournissant un indice général de la cohérence interne de l'échelle globale et, d'autre part, d'identifier les éléments inutiles et donc de les exclure de l'échelle.

L'analyse en deux parties mesure quant à elle l'équivalence en deux parties d'un test (fiabilité des formes parallèles). Dans ce cas, on administre deux piles d'éléments mesurant la même chose et ce avec le même instrument et avec les mêmes personnes.

L'analyse inter-évaluateurs évalue la fiabilité en comparant la variabilité des différentes évaluations d’un même sujet à la variation totale de tous les sujets et évaluateurs confondus. En effet, une note peut varier selon l’évaluateur considéré et cette méthode permet ainsi de tenir compte de cette variabilité dans l’explication de l’erreur lors du calcul de la fiabilité.

Fiabilité Interne

Alpha de Cronbach

L'indice alpha de Cronbach est une mesure de la cohérence interne d'un test ou, autrement dit, une mesure de la fiabilité de l'échelle.

Cet indice (représenté par la lettre grecque « á ») est l'équivalent mathématique de l'estimation de la moyenne de toutes les corrélations entre deux parties égales de l'échelle.

Il est recommandé d'avoir un coefficient alpha minimum compris entre 0,65 et 0,8 (ou plus); ceux inférieurs à 0,5 sont habituellement inacceptables.

XLSTAT fournit également le calcul de l'alpha de Cronbach dit standardisé. Celui-ci équivaut à la fiabilité qui serait obtenue si l'ensemble des réponses à chaque question avait été standardisé avant calcul.

Indices de Guttman

Les indices de fiabilité de Guttman  (lambda 1-6) sont un ensemble de six coefficients fournissant une borne inférieure de la fiabilité réelle du test. Ils servent eux aussi à estimer la fiabilité interne (L1, L3, L5, L6) ou en deux parties d'un test (L2, L4) :

• L1 : Un coefficient intermédiaire utilisé dans le calcul des autres lambdas.
• L2 : Estimation de la corrélation inter-score dans le cas de mesures parallèles. Il est plus complexe que l'alpha de Cronbach et représente mieux la vraie fiabilité du test.
• L3 : Equivalent à l'alpha de Cronbach.
• L4 : Fiabilité en deux parties de Guttman (Cf. description ci-dessous)
• L5 : Recommandé lorsqu'un seul item covarie fortement avec les autres, lesquels ne présentent pas de covariances élevées les uns avec les autres.
• L6 : Recommandé lorsque les corrélations inter-éléments sont faibles par rapport aux coefficients de déterminations item vs items restant (devient un meilleur estimateur lorsque le nombre d'items devient important).

Fiabilité en deux parties

Fiabilité en deux parties de Spearman-Brown

Une autre manière de calculer la fiabilité d'une échelle de mesure consiste à la fractionner aléatoirement en deux parties. Si l'échelle est parfaitement fiable, nous devons nous attendre à ce que les deux moitiés soient parfaitement corrélées (c'est-à-dire R = 1). Une fiabilité imparfaite conduit à des corrélations imparfaites. Nous pouvons estimer cette fiabilité de l'échelle grâce au coefficient par moitié de Spearman-Brown.

Lorsque les deux parties ont des tailles différentes, une estimation plus précise de la fiabilité est utilisée (Formule de Horst).

Fiabilité en deux parties de Guttman

Le coefficient de fiabilité par partie de Guttman (L4) est semblable au coefficient de fiabilité par partie de Spearman-Brown, mais il ne considère pas que les fiabilités ou bien les variances sont égales dans les deux parties (Tau-equivalence).

Fiabilité inter-évaluateurs

Coefficient de Corrélation Intraclasse (CCI)

La fiabilité inter-évaluateurs peut être évaluée grâce à des coefficients tels que le Coefficient de Corrélation Intra-classe (CCI). Il existe plusieurs variantes de ce dernier mais on peut le définir d’une manière générale comme la part de variance d'une observation due à une variabilité entre les sujets dans les résultats réels. Ses valeurs sont communément comprises entre 0 et 1.

Le CCI est élevé lorsqu'il y a peu de variation entre les scores donnés pour chaque question par les évaluateurs.