Analyse de sensibilité et spécificité

L'analyse de la sensibilité et de la spécificité permet d'évaluer la performance d'un test. Elle est disponible dans Excel via le logiciel statistique XLSTAT.

Qu'est-ce que l'analyse de sensibilité et de spécificité ?

L'analyse de sensibilité et de spécificité est utilisée pour évaluer les performances d'un test. Elle peut être utilisée, par exemple, en médecine pour évaluer l'efficacité d'un test utilisé et diagnostiquer une maladie ou en contrôle qualité pour détecter la présence d'un défaut dans un produit fabriqué.

La fonction sensibilité et spécificité de XLSTAT permet de calculer, entre autres, la sensibilité, la spécificité, l'odds ratio, les valeurs prédictives et les rapports de vraisemblance associés à un test ou à une méthode de détection.

Quand cette analyse a-t-elle été développée ?

Cette méthode a d'abord été mise au point pendant la Seconde Guerre mondiale pour développer des moyens efficaces de détection des avions japonais. Elle a ensuite été appliquée plus généralement à la détection des signaux et à la médecine, où elle est aujourd'hui largement utilisée.

Principes de la méthode de sensibilité et de spécificité

Le contexte est le suivant : on étudie un phénomène, souvent binaire (par exemple, la présence ou l'absence d'une maladie) et l’on souhaite développer un test permettant de détecter efficacement l'occurrence d'un événement précis (par exemple, la présence de la maladie).

Dans XLSTAT, nous pouvons réaliser plusieurs analyses telles que les k plus proches voisins, l’analyse discriminante linéaire ou quadratique, la régression logistique, Lasso et Ridge…

Soit V la variable binaire ou multinomiale qui décrit le phénomène pour N individus que l'on suit. On note par + les individus pour lesquels l'événement se produit, et par - ceux pour lesquels il ne se produit pas. Soit T un test dont le but est de détecter si l'événement s'est produit ou non. T peut être une variable binaire (présence/absence), qualitative (par exemple la couleur), ou quantitative (comme une concentration). Pour les variables binaires ou qualitatives, laissez t1 être la catégorie correspondant à l'occurrence de l'événement d'intérêt. Pour une variable quantitative, t1 est la valeur seuil en dessous ou au-dessus de laquelle on suppose que l'événement se produit.

Une fois le test appliqué aux N individus, on obtient un tableau individu/variable dans lequel on trouve pour chaque individu si l'événement s'est produit ou non, et le résultat du test.

Ces tableaux peuvent être résumés dans un tableau de contingence 2x2 :

Dans l'exemple ci-dessus, il y a 7 individus pour lesquels le test a détecté la présence de la maladie et 4 pour lesquels il a détecté son absence. Cependant, pour 1 individu, le diagnostic est mauvais, car le test conteste l'absence de la maladie alors que le patient est malade. Il en est de même pour 2 autres individus où la présence de la maladie a été détectée alors qu’il est en bonne santé.

On utilise alors le vocabulaire suivant :

• Vrai positif (VP) : Nombre de cas que le test déclare positifs et qui le sont réellement. Ici, cette valeur est de 5.
• Faux positif (FP) : Nombre de cas que le test déclare positifs et qui sont en réalité négatifs. Ici, cette valeur est de 2.
• Vrai négatif (VN) : Nombre de cas que le test déclare négatifs et qui sont en réalité négatifs. Ici, cette valeur est de 3.
• Faux négatif (FN) : Nombre de cas que le test déclare négatifs et qui sont en réalité positifs. Ici, cette valeur est de 1.

Comment interpréter les indices de Sensibilité et de Spécificité ?

Plusieurs indices sont disponibles dans le logiciel XLSTAT pour évaluer la performance d'un test :

• Sensibilité (équivalent du taux de vrais positifs) : proportion de cas positifs qui sont bien détectés par le test. En d'autres termes, la sensibilité mesure l'efficacité du test lorsqu'il est utilisé sur des individus positifs. Le test est parfait pour les individus positifs lorsque la sensibilité est de 1, ce qui équivaut à un tirage au sort quand la sensibilité est de 0,5. Si elle est inférieure à 0,5, le test est contre performant et il est alors utile d'inverser la règle pour que la sensibilité soit supérieure à 0,5 (à condition que cela n'affecte pas la spécificité). La définition mathématique est donnée par :

Sensibilité = VP/(VP + FN).

Par exemple, elle est ici de 5/(5+1)=5/6~0.83. Cela signifie que 83% des individus positifs ont été prédits comme étant positifs.

• Spécificité (également appelée taux de vrais négatifs) : proportion de cas négatifs qui sont bien détectés par le test. En d'autres termes, la spécificité mesure l'efficacité du test lorsqu'il est utilisé sur des individus négatifs. Le test est parfait pour les individus négatifs puisque la spécificité est de 1, équivalent à un tirage au sort lorsque la spécificité est de 0,5. Si elle est inférieure à 0,5, le test est contre performant et il est alors utile d'inverser la règle pour que la spécificité soit supérieure à 0,5 (à condition que cela n'ait pas d'impact sur la sensibilité). La définition mathématique est donnée par :

Spécificité = VN/(VN + FP).

Par exemple, elle est ici de 3/(3+2)=60%. Cela veut dire que 60% des individus négatifs ont été prédits comme négatifs.

• Taux de faux positifs (TFP) : proportion de cas négatifs que le test détecte comme positifs.

TFP = 1-Spécificité

Ici, il est de 1-60%=40%. Cela veut dire que 40% des individus négatifs ont été prédits comme positifs.

• Taux de faux négatifs (TFN) : proportion de cas positifs que le test détecte comme négatifs

TFN= 1-Sensibilité

Ici, il est de 1-5/6=1/6~17%. Cela veut dire que 17% des individus positifs ont été prédits comme négatifs.

• Prévalence : fréquence relative de l'événement d'intérêt dans l'échantillon total (TP+FN)/N.

Ici, elle est de (6+1)/11=7/11~0.64. Cela signifie qu’il y a 64% de cas positifs dans l’échantillon.

D'autres indices sont également disponibles, tels que la VPP et la VPN.

Comment interpréter la VPP et la VPN ?

• Valeur prédictive positive (VPP) : proportion de cas réellement positifs parmi les cas positifs détectés par le test.

Nous avons VPP = VP / VP + FP), ou VPP = Sensibilité x Prévalence / [(Sensibilité x Prévalence + (1-Spécificité)(1-Prévalence)].

Il s'agit d'une valeur fondamentale qui dépend de la prévalence, un indice indépendant de la qualité du test. Ici, la VPP est de 5/(5+2)=5/7~0.71. Cela signifie que les vrais positifs représentent 71% des individus prédits comme étant positifs.

• Valeur prédictive négative (VPN) : proportion de cas réellement négatifs parmi les cas négatifs détectés par le test.

Nous avons VPN = VN / (VN + FN), ou VPP = Spécificité x (1 - Prévalence) / [(Spécificité (1-Prévalence) + (1-Sensibilité) x Prévalence].

Cet indice dépend également de la prévalence qui est indépendante de la qualité du test. Ici, il est de 3/(3+1)=75%. Cela signifie que les vrais négatifs représentent 75% des individus prédits comme étant négatifs.

Enfin, certains indices de ratio et de risque sont disponibles dans XLSTAT.

• Rapport de vraisemblance positif (LR+) : ce ratio indique à partir de quel moment un individu a plus de chance d'être positif en réalité lorsque le test lui indique qu'il est positif.

On a LR+ = Sensibilité / (1-Spécificité).

Le LR+ est une valeur positive ou nulle.

Ici, il est de (5/6)/(1-0.4)=(5/6)/(6/10)=25/18~1.4. Cela signifie que les chances de diagnostiquer comme positif un individu positif sont 1.4 fois plus importantes que s’il s’agit d’un individu négatif.

• Rapport de vraisemblance négatif (LR-) : ce rapport indique à quel moment un individu a plus de chance d'être négatif en réalité alors que le test lui indique qu'il est positif.

On a LR- = (1-Sensibilité) / (Spécificité).

Le LR- est une valeur positive ou nulle.

Ici, il est de (1/6)/(4/10)=5/12~0.42. Cela signifie que les chances de diagnostiquer comme négatif un individu positif ne représentent que 42% des chances du même diagnostic quand s’il s’agit d’un individu négatif.

• Rapport de cotes : Le rapport de cotes (ou odds ratio) indique dans quelle mesure un individu a plus de chance d'être positif si le test est positif, par rapport aux cas où le test est négatif. Par exemple, un odds ratio de 2 signifie que la probabilité que l'événement positif se produise est deux fois plus élevée si le test est positif que s'il est négatif.

L'odds ratio est une valeur positive ou nulle.

On a Odds ratio = VPxVN / (FPxFN).

Ici, il est de (5x3)/(2x1)=15/2=7,5. Cela signifie que lorsque le test est positif, il y a 7.5 fois plus de chances que l’individu soit positif plutôt que négatif.

• Risque relatif : le risque relatif est un ratio qui mesure à quel point le test se comporte mieux lorsqu'il s'agit d'un rapport positif que lorsqu'il est négatif. Par exemple, un risque relatif de 2 signifie que le test est deux fois plus performant lorsqu'il est positif que lorsqu'il est négatif. Une valeur proche de 1 correspond à un cas d'indépendance entre les lignes et les colonnes, et à un test qui se comporte aussi bien lorsqu'il est positif que lorsqu'il est négatif.

Le risque relatif est une valeur nulle ou positive donnée par : Risque relatif = VP/(VP+FP) / (FN/(FN+VN)).

Ici, il est de (5/7)/(1/4)=20/7~2.86. Cela signifie que le test est environ 2.86 meilleur pour la détection d’individus positifs que d’individus négatifs.

Intervalles de confiance pour l'analyse de la sensibilité et de la spécificité

Pour les différentes présentations ci-dessus, plusieurs méthodes de calcul de leur variance, et donc de leurs intervalles de confiance, ont été proposées. Il en existe deux familles : la première concerne les proportions, comme la sensibilité et la spécificité, et la seconde les ratios, comme LR+, LR- l'odds ratio et le risque relatif.

Pour les proportions, XLSTAT permet d'utiliser les intervalles de Wald simples (Wald, 1939) ou ajustés (Agresti et Coull, 1998), un calcul basé sur le score de Wilson (Wilson, 1927), éventuellement avec une correction de continuité, ou les intervalles de Clopper-Pearson (1934). Agresti et Caffo recommandent d'utiliser l'intervalle de Wald ajusté ou les intervalles du score de Wilson.

Pour les ratios, les variances sont calculées à l'aide d'une seule méthode, avec ou sans correction de continuité.

Une fois la variance des statistiques ci-dessus calculée, on suppose leur normalité asymptotique (ou de leur logarithme pour les ratios) pour déterminer les intervalles de confiance correspondants. La plupart des statistiques sont des proportions et doivent être comprises entre 0 et 1. Si les intervalles se situent en partie en dehors de ces limites, XLSTAT corrige automatiquement les bornes de l'intervalle.

N'hésitez pas à consulter notre tutoriel sur la façon d'effectuer une analyse de sensibilité et de spécificité dans XLSTAT.