Principe général de l’évaluation des résultats des essais cliniques
Classification des résultats en faveur de l'efficacité
Les éléments de la force de conviction d’un résultat d’essai thérapeutique
Résultat faussement positif dû au hasard
Résultat faussement positif dû à un biais
Démarche hypothetico déductive
Les différents types de résultats
Cohérence externe d’un résultat
Conséquences des décisions basées sur des preuves imparfaites
Un dernier élément de validité d’un résultat est sa cohérence externe, c’est-à-dire sa cohérence avec d’autres résultats estimant la même chose.
Il s’agit de vérifier si le ce résultat est confirmé ou infirmé par d’éventuels autres résultats concernant la même comparaison de traitements dans la même pathologie et les mêmes patients et sur le même critère de jugement, un problème de cohérence.
L'appréciation de la cohérence externe du résultat considéré n'est pas possible, car il n'existe aucun n'autre essai similaire (portant sur la même comparaison de traitement et sur le même type de patients).
Conséquences ???
Un résultat peut être remis en cause pour manque de cohérence externe quand les autres essais similaires existants ne le confirment pas. La non-confirmation se juge en terme de taille de l'effet et non pas en terme de signification statistique. En effet, des discordances de signification statistiques entre essais peuvent simplement provenir des différences de puissance des études sans que l'effet du traitement en varie d'un essai à l'autre. Il y a non confirmation quand les résultats quantitatifs des essais varient de manière importante, avec une hétérogénéité des résultats supérieurs à ce qui est attendu uniquement du fait des fluctuations aléatoires d'échantillonnage.
Ainsi un résultat sera récusé pour manque de cohérence externe quand la méta-analyse intégrant ce résultats et ceux des autres études similaires ne montrent pas d'effet statistiquement significatif et ne confirme donc pas le résultat considéré. Les autres résultats récusent en quelque sorte le résultat considéré. Celui-ci s'avère, ainsi, être particulièrement favorable à l'effet du traitement, de manière non entièrement reproductible. Au total, il n'est donc pas possible l'existence d'un effet du traitement puisse qu'au total, en considérant la totalité de l'information apportée par tous les essais faisant la même évaluation, il n'est pas possible de conclure à cet effet.
Dans ces circonstances, le résultat analysés s'avère donc être très vraisemblablement un résultat faussement positif qui peut être dû à un biais non identifié de l'essai ou à des facteurs modificateurs de l'effet (une hétérogénéité existe alors) ou dû simplement aux hasard à travers les fluctuations aléatoires d'échantillonnages (il n'est pas mis en évidence d'hétérogénéité puisque les différences entre les résultats des essais proviennent uniquement du hasard).
Exemple
L'étude CHAOS fourni un résultat en faveur du bénéfice de la vitamine E en prévention cardiovasculaire en montrant une réduction de la fréquence des décès cardiovasculaires par rapport au placebo de ??? {réf}. Cependant ce résultat s'avère unique, car il n'est pas retrouvé dans les ??? autres essais ayant le même objectif, qui sont tous non concluants.
La méta-analyse regroupant tous ces résultats ne montre pas de différence statistiquement significative et aucune hétérogénéité importante n'est détectée. Il est ainsi possible de conclure que le résultat positif de CHAOS est très vraisemblablement un faux positif (dû hasard ou à un biais non détecté((en fait il c'est avéré à l'issue d'un audit de l'étude mené par l'EMA que cette étude soufrée de gros problème de qualité))). Cela conduit à rejeter le résultat de CHAOS pour manque de cohérence externe et à considérer que la vitamine E n'a pas apporté la preuve de son intérêt sur les décès cardiovasculaires.