But évaluation

Le but de l’évaluation est d’évaluer si un résultat donné, proposé (avancé) pour justifier l’intérêt d’un traitement, est suffisamment fiable et pertinent pour être accepté comme preuve de cet intérêt thérapeutique.

1. Logique générale de l'évaluation

L’évaluation a donc pour mission d’informer un décideur sur le risque de prendre une mauvaise décision qu'il encoure en suivant ce que suggère le résultat considéré

Ici, le décideur (individu ou institution) peut être :

• un médecin décidant de l’intérêt d’adopter un nouveau traitement dans son arsenal thérapeutique,

• un enseignant de médecine décidant d’introduire le nouveau traitement dans ses cours,

• un agent de régulation décidant d’octroyer une autorisation de marché,

• un payeur décidant de prendre en charge le nouveau traitement.

Tous ces décideurs ont la même crainte, qu’ils souhaiteraient absolument éviter étant donné les enjeux pour les patients et le système de santé, celle de conclure à tort à l’intérêt du traitement à partir d’un résultat de recherche clinique suggérant abusivement (à tort, faussement) l’intérêt du traitement. Étant donné cette crainte, tous ces décideurs souhaiteraient ne suivre que des résultats de recherche clinique suffisamment sûr pour que leur risque de prendre une mauvaise décision soit le plus faible possible (voir quasiment inexistant).

Il existe une autre possibilité de prendre décision inappropriée. Celle de ne pas retenir l'intérêt thérapeutique à tort d'un traitement pourtant efficace net ainsi de priver de manière plus ou moins définitive les patients d'une ressource thérapeutique pourtant efficace. Cet aspect est discuter dans la section ???.

Hors tous les résultats de recherche clinique suggérant un intérêt du nouveau traitement ne se valent pas et certains sont plus sûr que d’autres en fonction du type de l’étude qui les ont produits, de la protection contre les biais de l’étude, du contrôle du risque d’erreur statistique dû au hasard qui a été effectué dans l’étude, de la concordance du résultat avec l’objectif initial de l’étude, etc..

Cela revient donc à évaluer, devant un résultat apparemment en faveur de l’intérêt du traitement, le risque que ce résultat dit « positif » soit en réalité faussement positif (positif à tort). Un résultat faussement positif est un résultat d’apparence positive (en faveur de l’intérêt du traitement), mais d’apparence seulement, car en réalité, le traitement est dénué d’intérêt. « Les chiffres sont en faveur de l’intérêt, mais à tort ».

La conclusion que suggère le résultat est fausse et en désaccord avec la réalité de l’intérêt du traitement. C’est donc un résultat d’étude faussement positif, c’est un faux positif. (il existe aussi une possibilité d’avoir des résultat faussement négatif : le résultat n’est en faveur de l’intérêt du traitement à tort, car le traitement a réellement un intérêt)

Plusieurs phénomènes peuvent être à l’origine de la genèse de résultats faussement positifs. De ce fait, la possibilité de résultat faux positif est une réelle question d’intérêt.

Les phénomènes qui peuvent conduire à des résultats faux positifs sont les suivants :

• le phénomène de confusion : ce qui est pris pour un effet du traitement est en fait l’effet d’un autre facteur, donnant un résultat identique à ce que donnerait un traitement efficace. De ce fait ce résultat, en faveur de l’effet du traitement, peut survenir indépendamment de tout effet réel du traitement étudié. L’effet de ce tiers facteur a été confondu avec l’effet du médicament. Ces tiers facteur sont appelés facteur de confusion.

• Les biais qui font qu’une étude donnera des résultats en faveur de l’intérêt du traitement par (défaut) construction, quel que soit le réel intérêt du traitement

• Les erreurs statistiques de première espèce (risque d’erreur alpha)

• Les artefacts, les découvertes fortuites comme celles issues d’une observation sans hypothèse préalable produit d’un raisonnement inductif et non pas déductif

• Les erreurs raisonnements ou de logique (logical fallacy ou formal fallacy) comme les résultats post hoc

Devant la multitude de ces phénomènes pouvant conduire à des résultats faux positifs, il a été développé au cours du temps, des outils et des principes qui ont pour but d’éviter de produire des résultats faux positifs en recherche scientifique. Ce fût le but du développement de la méthode scientifique .

Ces principes nous assurent que, s’ils sont respectés (appliqués), les résultats positifs obtenus ne sont pas des résultats faussement positifs. Cette assurance n’est cependant pas absolue, mais tout aura été mis en œuvre pour limiter ce risque et il est en général accepté que pour éliminer ce risque résiduel de faux positif il convient de vérifier tout résultat positif par une réplication (une autre étude) ???

Dans sa recherche de prendre des décisions au plus juste, le décideur souhaiterait n’utiliser que des résultats pour lesquels il est raisonnablement possible d’écarter la possibilité qu’ils puissent être faussement positifs (positifs à tort).

Or, en dehors du plein respect de ces principes évoqué précédemment, il n’est pas possible de raisonnablement exclure qu’un résultat positif le soit à tort. Ce point illustre le fait qu’un résultat ne respectant pas ces principes est forcément un résultat faussement positif, mais il n’est pas possible d’exclure qu’il le soit. Il est tout à fait possible d’un résultat ne respectant pas ces principes soit à raison positif et reflète bien la réalité, mais le risque de prendre la mauvaise décision à partir d’un résultat ne respectant pas ces principes n’est pas contrôlé et n’est pas minimisé ; ainsi il est sûr qu’il y a prise de risque à suivre un résultat ne respectant pas ces principes. Le maximum n’a pas été fait pour minimiser le risque de prendre une décision erronée.

Liste de résultat s’étant avéré être des faux positifs ultérieurement après la réalisation de nouvelle étude ou d’étude plus solide

2. Prise en considération du risque de faux négatifs

Pourquoi ne pas considérer le risque de prendre une mauvaise décision en ne reconnaissant pas l’intérêt du nouveau traitement dans l'élaboration des exigences de niveau de démonstration ?

La démarche d'évaluation est entièrement centrée sur la minimisation du risque d'utiliser à tort un nouveau traitement. En symétrie, il existe aussi le risque de ne pas utiliser à tort un traitement (pourtant efficace). Adopter des exigences élevées de démonstration du bénéfice fait courir le risque que certains traitements efficaces ne soient pas retenus, car les résultats produits par leurs essais n'atteignent pas le niveau d'exigences de solidité demandé. Cette situation pourrait être perçue comme dommageable aussi pour les patients, car conduisant à une perte de chance.

Cependant la solution ne doit pas être un abaissement des exigences, mais bien une amélioration de la qualité des études de ces traitements. En effet, abaisser les exigences conduirait, certes à diminuer le taux de faux négatif, mais aussi et surtout à augmenter celui de faux positifs. Au total, la probabilité qu'un traitement adopté soit efficace diminuerait (cf. fiche concept sur ???).

En effet, de nombreuses raisons conduisent à privilégier le contrôle du risque de faux positifs par rapport à celui de faux négatifs.

Un faux négatif est toujours rattrapable tandis qu'un faux positif ne l'est pas (ou très rarement). Il est toujours possible de refaire un essai après un premier négatif et rattraper ainsi un éventuel résultat faussement négatif. Par contre une fois qu'un nouveau traitement est adopté, aucun nouvel essai (sauf cas exceptionnel ^note) ne sera plus entrepris et il y aura ainsi plus aucune possibilité de se rendre compte que le résultat ayant conduit à l"adoption du nouveau traitement était un faux positif. Ainsi il convient d'être bien plus vigilant vis-à-vis des faux positifs que des faux négatifs étant donné le caractère irrémédiable de ces premiers contrairement aux derniers.

L'utilisation à tort d'un traitement sur la base d'un résultat faux positif entraîne aussi une perte de chance pour le patient car cela prive le patient d'éventuels autres traitements efficaces (cf Milwaukee sentinelle). Cela donne aussi une fausse impression que les besoins sont couverts, limitant les efforts de recherche d'un traitement supplémentaire.

L'adoption à tort d'un nouveau traitement conduit aussi à une asymétrie des bénéfices : alors qu'aucun bénéfice n'est apporté aux patients ou à la santé publique, le fabriquant tire de son traitement les bénéfices attendus.

Les résultats faussement positifs conduisent aussi à un gaspillage direct des ressources collectives ou de celles des patients en fonction du système de santé.

In fine, il convient aussi de remarquer que la communauté biomédicale à l'heure actuelle favorise nettement le contrôle des faux positifs au détriment de celui des faux négatifs,puisqu’une puissance de 80% est couramment employée, correspondant à un taux accepté de faux négatifs de 20%, alors que le taux couramment admis de faux positifs est seulement de 2.5% (seuil de signification de 5% en bilatéral).