Cohérence externe

La cohérence externe d'un résultat est assurée quand celui-ci est en phase avec les autres résultats disponibles obtenus sur études similaires. Dans ce cas, la robustesse du résultat est renforcée et il est alors possible d'exclure que le résultat soit simplement un artefact non reproductible.

En effet un résultat unique, sur un concept inédit, fait toujours appréhender qu'il puisse s'agir d'un artefact. En effet, il y existe toujours la possibilité d'un biais résiduel non détecté ou d'un résultat faussement positif dû au hasard. Classiquement, dans la démarche expérimentale, il est demandé une réplication des résultats avant leur acceptation définitive.

Au niveau statistique, l'existence d'une confirmation lors d'une réplication permet aussi de réduire le risque alpha. En effet, au niveau d'un essai clinique, le risque alpha est habituellement contrôlé à moins de 2.5% en unilatéral. Ce niveau de risque, bien que habituellement accepté, reste somme toute très élevé pour décider de l'adoption définitive d'un nouveau traitement qui va concerner de très nombreux patients dans le futur. De plus compte tenu du nombre de traitement en évaluation (plus de 10000) et du fait qu'environ la moitié de ces traitements ne confirme pas leur intérêt, l'utilisation d'un risque alpha à 2.5% conduit à un nombre important de traitements adoptés à tort. La disponibilité d'au moins deux essais indépendants statistiquement significatif permet de réduire le risque alpha à un niveau beaucoup plus satisfaisant (0.0625%). Ainsi dans de nombreux domaines, les agences d'enregistrement attendent (sans pour autant formellement l'exiger) deux essais pivots concluants.

Dans des situations où un seul essai n'est envisagé, pour garantir la robustesse du résultat unique qui sera produit, un abaissement du seuil de la signification statistique prévu au protocole a été adopté (cf. HPS ???).

Cette approche est interessante car il s'avère difficile en pratique de faire la réplication d'un essai, particulièrement quand celui-ci concerne montre une réduction de mortalité ou d'événements cliniques graves. Dans ce cas, l'acceptabilité d'un nouvel essai conduisant à ne pas traiter des patients est faible. La faisabilité des réplications dans ces domaines est en général compromise (souvent dès la soumission à un comité d'éthique). Indirectement, cette constatation montre que l'importance apportée à ce principe méthodologique par la communauté médicale est faible.

En général, le deuxième essai est réalisée dans une population de patients quelque peu différente. Même s'il ne s'agit alors pas d'une stricte réplication, l'obtention d'un résultat concluant dans cette deuxième étude contribue quand même à renforcer la cohérence externe du premier résultat en montrant une reproductibilité à travers différentes population de patients.

Par contre, dans tous les domaines l'enjeu du traitement ne concerne pas la mortalité ou les événements clinique sérieux, la réalisation de 2 essais similaire ou quasi-similaire indépendant est faisable.

1. Situation assurant la cohérence externe du résultat

2. Situation d'absence de cohérence externe du résultat

2.1. L’appréciation de la cohérence externe impossible

L'appréciation de la cohérence externe du résultat considéré n'est pas possible, car il n'existe aucun n'autre essai similaire. Il n'existe pas non plus d'essais du même traitement dans d'autres situations cliniques, ni d'essais d'autres molécules de la même classe pouvant permettre une appréciation partielle indirecte de sa cohérence externe.

En l'absence de réplication du résultat il n'est pas possible d'exclure un résultat artefactuel ou un biais de publication.

2.2. Remise en cause de la cohérence externe du résultat

Un résultat peut être remis en cause pour manque de cohérence externe quand les autres essais similaires existants ne le confirment pas. La non-confirmation se juge en terme de taille de l'effet et non pas en terme de signification statistique. En effet, des discordances de signification statistiques entre essais peuvent simplement provenir des différences de puissance des études sans que l'effet du traitement en varie d'un essai à l'autre. Il y a non confirmation quand les résultats quantitatifs des essais varient de manière importante, avec une hétérogénéité des résultats supérieurs à ce qui est attendu uniquement du fait des fluctuations aléatoires d'échantillonnage.

Ainsi un résultat sera récusé pour manque de cohérence externe quand la méta-analyse intégrant ce résultats et ceux des autres études similaires ne montrent pas d'effet statistiquement significatif et ne confirme donc pas le résultat considéré. Les autres résultats récusent en quelque sorte le résultat considéré. Celui-ci s'avère, ainsi, être particulièrement favorable à l'effet du traitement, de manière non entièrement reproductible. Au total, il n'est donc pas possible l'existence d'un effet du traitement puisse qu'au total, en considérant la totalité de l'information apportée par tous les essais faisant la même évaluation, il n'est pas possible de conclure à cet effet.

Dans ces circonstances, le résultat analysés s'avère donc être très vraisemblablement un résultat faussement positif qui peut être dû à un biais non identifié de l'essai ou à des facteurs modificateurs de l'effet (une hétérogénéité existe alors) ou dû simplement aux hasard à travers les fluctuations aléatoires d'échantillonnages (il n'est pas mis en évidence d'hétérogénéité puisque les différences entre les résultats des essais proviennent uniquement du hasard).

3. références

](http://blog.scielo.org/en/2014/02/27/reproducibility-of-research-results-the-tip-of-the-iceberg/) [