Analyse de système de mesure des variables qualitatives (attributs)

Qu’est-ce que l’analyse de système de mesure des variables qualitatives ?

L'analyse de système de mesure (Measurement System Analysis ou MSA en anglais) aussi désignée par Gage R&R (Gage Repeatability and Reproducibility) est une méthodologie qui permet de contrôler et de valider un processus de mesure. Elle permet notamment d'identifier quelles sont les sources responsables de la variabilité des mesures effectuées : la variabilité peut être due au système de mesure, à l'opérateur effectuant la mesure ou aux objets mesurés. Le mot "gage" (signifiant jauge en anglais) fait référence au fait que la méthodologie a été développée pour valider des instruments de mesure.

Contrairement à la méthodologie Gage R&R pour des mesures quantitatives, l'analyse pour les données qualitatives (attributs) donne des informations sur "l'accord" et la "justesse". Les notions de variance, de répétabilité et de reproductibilité ne s'appliquent pas dans ce cas.

Les indicateurs pour l’analyse de système de mesure des variables qualitative

Un fort « accord » correspond au cas où les mesures prises à plusieurs reprises par un opérateur donné pour le même objet (produit, unité, pièce ou échantillon, en fonction du domaine d'application) sont cohérentes. Si l'accord d'un système de mesure est faible, il convient de s'interroger sur la qualité du système de mesure ou du protocole, ou de former les opérateurs qui ne sont pas performants, si le système de mesure ne semble pas être responsable de l'absence d'accord.

Une bonne « justesse » correspond au cas où les mesures prises par un opérateur pour un même objet à plusieurs reprises par un opérateur donné pour le même objet (produit, unité, pièce ou échantillon, en fonction du domaine d'application) correspondent aux valeurs données par une méthode ou un expert servant de référence. Si la « justesse » d'un système de mesure est faible, il faut former les opérateurs, afin que leurs résultats soient plus corrects.

La justesse peut être calculée avec les indices Kappa ou les statistiques de Kendall. Les statistiques Kappa peuvent être utilisées dans le cas de données qualitatives et ordinales quantitatives. Les statistiques de Kendall peuvent être utilisées dans le cas de mesures ordinales avec au moins 3 modalités.

Les indices d'accord et de justesse peuvent être calculés pour un opérateur donné, pour un opérateur donné comparé à un standard, entre deux opérateurs ou pour tous les opérateurs comparés à un standard.

Mesure de l’analyse de système de mesure des variables qualitative dans XLSTAT

Le but d'une analyse Gage R&R pour attributs est d'identifier les sources de faible accord et de faible justesse pour prendre éventuellement les décisions nécessaires.

Lorsque les mesures sont qualitatives ou ordinales, l'analyse Gage R&R pour attributs est basée sur les statistiques suivantes pour évaluer l'accord et la justesse :

• Statistiques d'accord
• Statistiques de désaccord
• Statistiques Kappa
• Statistiques de Kendall

Si possible, les comparaisons suivantes sont réalisées :

• Intra-opérateur
• Opérateur vs. standard
• Inter-opérateurs
• Tous les opérateurs vs. standard

Le standard correspond aux mesures rapportées par un expert ou une méthode réputée très fiable.

Statistiques mesurant le degré d'accord

Il est possible de calculer ces statistiques pour tous les types d'évaluation.

Dans le cas d'une évaluation intra-opérateur, XLSTAT calcule pour l'opérateur le nombre de cas où il donne la même mesure pour les différentes répétitions sur l'ensemble des répétitions. Le rapport de ce nombre et du nombre total de mesures effectuées par l'opérateur est calculé.

Dans le cas d'une évaluation opérateur versus standard, XLSTAT calcule pour l'opérateur le nombre de cas où il donne la même mesure que le standard sur l'ensemble des répétitions. Le rapport de ce nombre et du nombre total de mesures effectuées par l'opérateur est calculé.

Dans le cas d'une évaluation inter-opérateurs, XLSTAT calcule le nombre de cas où les opérateurs donnent la même mesure sur l'ensemble des répétitions. Le rapport de ce nombre et du nombre total de mesures effectuées par les opérateurs est aussi calculé.

Dans le cas d'une évaluation pour tous les opérateurs versus le standard, XLSTAT calcule le nombre de cas où tous les opérateurs donnent la même mesure que le standard sur l'ensemble des répétitions. Le rapport de ce nombre et du nombre total de mesures est aussi calculé.

En outre, les intervalles de confiance sont calculés. Pour les proportions, XLSTAT vous permet de calculer les intervalles simple (Wald, 1939) ou ajusté (Agresti et Coull, 1998) de Wald, celui basé sur le score Wilson (Wilson, 1927), avec éventuellement une correction de continuité, ou celui de Clopper-Pearson (1934). Agresti et Caffo recommandent d'utiliser l'intervalle de Wald ajusté ou l'intervalle basé sur le score de Wilson.

Statistiques mesurant le degré de désaccord

Ces statistiques sont uniquement calculées dans le cas Opérateur vs. standard si les données sont binaires (par exemple, succès ou échec). Trois types de statistiques de désaccord sont calculés pour chaque opérateur :

• Faux négatifs : cette statistique compte le nombre de cas où un opérateur évalue systématiquement une pièce comme « échec » alors que le standard l'évalue comme « succès ». La proportion de faux négatifs sur l'ensemble des pièces de catégorie « succès » selon le standard est aussi calculée.
• Faux positifs : cette statistique compte le nombre de cas où un opérateur évalue systématiquement une pièce comme « succès » alors que le standard l'évalue comme « échec ». La proportion de faux positifs sur l'ensemble des pièces de catégorie « échec » selon le standard est aussi calculée.
• Mixte: cette statistique compte le nombre de pièces pour lesquelles un opérateur n'est pas cohérent dans ses évaluations. Le rapport de ce nombre de cas par le nombre de pièces évaluées par l'opérateur est aussi calculé.

Coefficients Kappa

Le Kappa de Cohen Kappa et de Fleiss sont deux indices adaptés au cas des variables qualitatives. Ces coefficients sont calculés sur des tableaux de contingence provenant d'échantillons appariés. Le kappa de Fleiss est une généralisation du Kappa de Cohen lorsqu'il y a plus de deux juges. Le coefficient kappa varie entre -1 et 1, et permet de mesurer le degré d'accord. Plus il est proche de 1, plus l'accord est important.

Dans le cas d'une évaluation intra-opérateur, il est nécessaire qu'au moins 2 mesures aient été faites pour chaque pièce par chacun des opérateurs.

Dans le cas de l'évaluation d'un opérateur vis à vis du standard, le nombre de mesures pour l'opérateur et pour le standard doit être le même avec au moins deux répétitions par pièce.

Dans le cas d'une évaluation inter-opérateurs, le nombre de mesures pour les deux opérateurs doit être le même.

Dans le cas d'une évaluation de tous les opérateurs versus le standard, le nombre de mesures pour les divers opérateurs et pour le standard pour une pièce donnée doit être le même avec au minimum une mesure par pièce et par opérateur.

Coefficients de Kendall

Ces coefficients sont calculés pour des variables ordinales ayant au moins 3 modalités.

• Tau de Kendall : ce coefficient, aussi appelé tau-b, permet de mesurer sur une échelle allant de -1 à 1 le degré de concordance entre deux variables ordinales. Le tau de Kendall permet de prendre en compte les ex aequo.
• Coefficient de concordance de Kendall : ce coefficient permet de mesurer sur une échelle de 0 à 1 le degré de concordance entre deux variables ordinales.
• Ces coefficients permettent d'évaluer la qualité du système de mesure dans les cas intra-opérateur, opérateur versus le standard, inter-opérateurs et lorsque l'on compare tous les opérateurs au standard.