Cohérence externe d’un résultat (fiche concept)

La cohérence externe d’un résultat est la façon dont ce résultat est confirmé ou non par d’autres études. Montrer la cohérence des résultats obtenus par les différentes études évaluant la même question (même comparaison de traitements, même pathologie, mêmes patients) permet d’écarter le fait que le résultat considérer puisse être le seul résultat favorable au traitement obtenu à l’issu de plusieurs essais. En effet, même en étant à l’abri des biais, un essai peut encore produire des résultats faux positifs artefactuels (le risque alpha n’est jamais nul). Par contre, la confirmation d’un résultat par une autre étude identique permet d’écarter d’avantage cette possibilité et renforce donc le (les) résultats. L’outil de référence pour réaliser cette évaluation de la cohérence externe d’un résultat est la méta-analyse. La méta-analyse évite que seuls soient considérés les résultats favorables au traitement testés en faisant une revue systématique de toutes les études disponibles. De plus, la méta-analyse va faire une analyse fine des discordances de résultats entre les études et non pas simplement rechercher si toutes les études ont obtenues des résultats statistiquement significatif. En effet, il peut exister des discordances de signification statistique entre les essais du fait du hasard et en raison de différence de puissance statistique entre les études. Le fait que parmi 2 études, l’une est obtenue un résultat significatif alors que l’autre non, ne remet pas forcément en cause le résultat significatif. Pour juger correctement de la cohérence des résultats de plusieurs études, la méta-analyse se focalise sur les tailles d’effet (risque relatif, hazard ratio, différence des moyennes, etc.) et recherche s’il existe entre ces résultats quantitatif plus forte que celle attendue uniquement du fait du hasard, compte tenu de la précision des estimations de chaque étude. La méta-analyse recherche s’il y a une hétérogénéité statistique entre les résultats des différentes études.

Cohérence externe Situations correspondantes confirmée au moins une autre étude de même qualité montre le bénéfice du traitement la méta-analyse des études similaires disponibles monte un effet du traitement (avec le modèle d’effet aléatoire). Ainsi, même si un certain degré d’hétérogénéité existe entre les résultats des différentes études, l’effet du traitement n’est pas remis en cause infirmée la méta-analyse des études similaires disponibles montre une hétérogénéité entre les résultats des études et la synthèse de ces résultats avec un modèle d’effet aléatoire ne conclut pas à l’efficacité du traitement inconnue pas d’autres études similaires disponibles. Il est donc impossible d’évaluer la cohérence externe du résultat unique disponible

1 Les différents cas de figure 1.1 Absence de cohérence externe Il y a absence de cohérence externe du résultat analysé quand la méta-analyse de toutes les études disponibles ne retrouve pas l’efficacité du traitement sur ce même critère de jugement. Un exemple de ce type de situation est donné figure ???.

L’essai 1 montre une efficacité du traitement statistiquement significatif. Mais c’est le seul parmi les 4 essais réalisés. Au total, le résultat obtenu avec le modèle d’effet aléatoire ne permet pas de conclure à l’existence d’un effet. Le résultat de l’essai 1 n’est donc pas confirmé par ceux des autres essais. Étant donné l’absence d’hétérogénéité, le résultat significatif de l’essai 1 provient très certainement du fait du hasard uniquement et est donc une manifestation du risque alpha. Sans cette évaluation de la cohérence externe, l’analyse isolée du résultat de l’essai 1 aurait conduit à conclure à l’intérêt du traitement à tort. Un exemple réel de ce type est donné par la méta-analyse des essais de vitamine E versus placebo dans la prévention cardiovasculaire (). Un seul essai (CHAOS) montre un effet statistiquement significatif <<>>

Figure 1 – Exemple d’absence de cohérence externe. Le résultat de l’essai CHAOS n’est pas retrouvé par les autres essais. D’après ref (1) (Lancet 2003; 361: 2017–23)

1.2 Confirmation de la cohérence externe d’un résultat Un résultat statistiquement significatif a une cohérence externe confirmée lorsque la méta-analyse de tous les essais montre à son tour un effet statistiquement significatif. De ce fait il y a une confirmation qu’en prenant la totalité de l’information disponible il y a bien un effet du traitement et donc que le résultat positif analysé n’est pas un artéfact ou le fruit du pure hasard. L’existence d’une hétérogénéité ne remet pas le verdict en cause (tant que le résultat global obtenu avec le modèle d’effet aléatoire est statistiquement significatif). En effet dans ce cas, il y a une certaine instabilité de l’effet du traitement, mais dans tous les cas l’effet existe (et correspond à un effet bénéfique). Il n’y a donc pas à remettre en cause l’existence de l’effet même si, dans ce cas-là, la taille d’effet obtenu dans l’essai n’a qu’une valeur relative puisque cette taille d’effet varie d’un essai à l’autre. Dans ce cas, si aucune explication n’est trouvée (cf. MA) la meilleure estimation de la taille de l’effet du traitement est celle de la méta-analyse (avec un modèle d’effet aléatoire).

<<>>

1.3 Cohérence externe inévaluable Quand l’essai est unique, la cohérence externe de tous ses résultats est inévaluable.

2 Références 1. Vivekananthan DP, Penn MS, Sapp SK, Hsu A, Topol EJ. Use of antioxidant vitamins for the prevention of cardiovascular disease: meta-analysis of randomised trials. Lancet. 2003;361(9374):2017-23.