Les éléments de la force de conviction d’un résultat d’essai thérapeutique

La force de conviction d’un résultat d’essai thérapeutique en faveur de l’efficacité du traitement évalué dépend de plusieurs éléments :

• Le risque de conclure à tort à l'intérêt du traitement à partir de ce résultat uniquement dû fait du hasard

• Le risque que ce résultat soit en fait un résultat faussement positif (faux positif) dû à un biais

• Sa pertinence clinique (c'est-à-dire la valeur ajoutée médicale qu’apporte le traitement)

• La balance bénéfice risque

• Sa cohérence externe, c'est à dire sa cohérence avec les résultats produits par les autres études similaires

Auxquels ont peut adjoindre un 6ème, la nature hypothetico déductive (qui peut aussi être considérée comme une forme particulière de faux positif dû au hasard).

Les deux premiers éléments concernent la possibilité qu'un résultat positif puisse l'être à tort, alors qu'en réalité le traitement n'est pas efficace et que, donc, l'essai aurait dû conduire à un résultat négatif. Il existe deux causes qui peuvent produire facilement des résultats faussement positifs : les erreurs statistique et les biais. $

Chacun de ces éléments sont discuté dans les 4 chapitre suivants.

1. Pourquoi des points positifs n’estompent pas d’autres réserves méthodologique

Une seule réserve portée sur un des éléments de la validité d’un résultat conduit à son invalidation. L’existence de points satisfaisant sur les autres éléments de la validité ne permet pas de compenser la réserve effectuée. En effet, les éléments de la validité d’un résultat (contrôle du risque de faux positif dû au hasard et protection contre les biais) s’enchaînent en série pour former une chaîne et une seule défaillance sur l’un de ses maillons affaiblie la totalité de la chaîne.

Par exemple, un défaut de contrôle d’un biais particulier ne peut pas être rattrapé par un contrôle parfait des autres biais. Les autres moyens mis en oeuvres ne peuvent pas suppléer la possibilité de faux positif consécutive à ce défaut méthodologique. Par exemple, la randomisation ne compense pas l’absence de double aveugle et ne peut pas empêcher la survenu d’un résultat faux positif dû à un biais de mesure ou de suivi. Il ne sert donc à rien de faire un scoring de « qualité » des essais étant donné que l’existence d’une seule et unique réserve remet en cause la fiabilité du résultat. Un risque de résultat faux positif existe même si la protection contre les biais est optimale. Ainsi pour un critère de jugement secondaire, un contrôle des biais optimal n’empêche pas l’inflation du risque alpha engendrée par l’exploration des critères secondaires.

Une méthodologie parfaite permettant d’exclure que le résultat soit un faux positif (dû au hasard ou à un biais) ne récupère pas un défaut de pertinence clinique du résultat et ne peut pas transformer un résultat sans intérêt pratique en un résultat cliniquement pertinent.

La forte pertinence clinique potentielle d’un résultat (comme par exemple une réduction de mortalité totale) ne compense pas un défaut de fiabilité du résultat (protection contre le risque de faux positif dû à un biais ou au hasard). Ainsi, même la mortalité totale est sujette aux fluctuations aléatoires d’échantillonnage ou au biais. La force du critère de jugement ne change en rien la problématique et n’autorise en rien un moindre contrôle de la fiabilité du résultat. Ce point est fondamental, car on observe que souvent se développe un sur enthousiasme en pratique en fonction de l’intérêt clinique du résultat et que par exemple un résultat de mortalité est souvent mis en avant sans tenir compte des réserves méthodologiques sous-jacentes.

Une taille d’effet importante ne permet pas d’exclure la possibilité d’un biais ou d’une erreur aléatoire.