Conséquences des décisions basées sur des preuves imparfaites
1. introduction
L'évaluation recherche les preuves optimales de l'intérêt thérapeutiques d'un traitement. Parfois, pour certaines conditions cliniques, l'obtention de ces preuves optimales est un objectif très difficilement atteignable : nombre de sujets nécessaires pour mettre en évidence le bénéfice attendu disproportionné par rapport à la population de malade existant (maladies rares), réalisation du double insu difficile (voir dans quelques cas impossible),etc. Dans ces situations on est donc amené à prendre des décisions concernant la recommandation de traitement sur la base de preuves imparfaites. Se pose alors la question des conséquences de telles décisions.
Dans certains cas de figures on est tenté d'adopter des traitements à partir de preuves non complètement optimales. Quelles sont les conséquences de ce type de décision
L'optimalité d'une preuve en faveurs de l'intérêt thérapeutique d'un nouveau traitement se défini en termes de risque que cette preuve soit faussement en faveurs de l'intérêt du traitement. Ce risque est minimal avec une preuve optimale, répondant à toutes les exigences méthodologiques et augmente lorsque toutes ces exigences ne sont remplies (cf. section ???).
Mais, mêmes avec toutes les conditions nécessaires, le risque qu'une preuve optimale soit faussement en faveur de l'intérêt du traitement n'est pas nulle et, le souvent , s'établie à 2.5% (ce qui correspond au risque alpha de la partie en faveur de la supériorité d'un test statistique bilatéral habituellement effectué avec un seuil de la signification à 5%).
Lorsque une preuve ne remplie pas toutes les exigences méthodologiques, ce risque de faux positif augmente mais, en l'état actuel des connaissances, il n'est pas possible de quantifier cette augmentation. Ainsi, par exemple, il est impossible de quantifier le risque qu'un résultat provenant d'un essai réalisé sans insu soit un faux positif. La seule certitude est qu'il n'est pas possible de garantir que ce risque soit inférieur à 2.5%. En effet chaque fois qu'un essai en double insu ne confirme pas les résultats d'un premier essai réalisé sans insu, cela montre que le risque de faux positif des essais en ouvert est supérieur à 2.5% (celui des essais en double insu).
L'évaluation peut ainsi être vu comme une sorte de filtre qui empêche que trop de traitements sans effet soient considérés à tort comme ayant un intérêt thérapeutique et soient in fine adopté en pratique. En exigeant des preuves optimales, seul 2.5% de ces traitements sans effet filtrent et sont finalement recommander pour la pratique.
Dans les situations où ils n'est pas possible d'obtenir des preuves optimales, l'évaluation sera moins performantes et plus de 2.5% des traitements sans effets soumis à l'évaluation seront finalement adoptés.
Pour percevoir les réelles conséquences de cette plus grande perméabilité du filtre aux traitements sans effet il est nécessaire de raisonner en termes de probabilité qu'un traitement recommandé soit, en fait, sans intérêt. En effet, du point de vue du médecin, la question est : quelle est la probabilité que ce traitement que je m'apprête de prescrire soit efficace ? et du point de vue du patient, la question est : quelle est la probabilité que le traitement que je m'apprête de suivre soit efficace ? Pour calculer cette probabilité il convient de recouvrir au théorème de Baye.
2. Place de ces preuves imparfaites dans le décision
Ce résultat n'est donc pas démontré mais seulement suggéré. Il ne peut pas être considéré comme un éléments de preuve de l'intérêt thérapeutique du traitement évalué. De ce fait il ne peut pas être utilisé pour justifier une décision d'utiliser ou de recommander le traitement évalué. Il a seulement une valeur exploratoire ou cognitive. Il n'intéresse pas directement le clinicien mais le chercheur. Compte tenu de son absence de démonstration, ce résultat n'est pas en mesure de guider le clinicien dans le choix d'un traitement ou de l'élaboration d'une recommandation.
3. calcul de la probabilité qu'un traitement soit réellement efficace après un essais "concluant"
Les explications de ce calculs sont donnés dans risques statistiques vu comme des taux de filtration.
Le calcul de cette probabilité peut s'effectuer par dénombrement (ce qui évite de recourir aux théorèmes du calcul des probabilités). Les 2 approches sont équivalentes étant donné peut être vue comme la fréquence de survenu de l'événement stochastique d'intérêt.
Considérons la population théorique de l'ensemble des traitements qui seront évalués pour une question thérapeutique donnée. La proportion de traitement efficace est \(p\) et celle de traitement sans efficacité \(1-p\). Les essais réalisés pour évaluer les traitements sans efficacité ont tous un risque de produire un résultat faux positif (dû au hasard et au biais) égal à \(\alpha\). Pour les essais réalisés avec les traitement efficace, le risque de faux négatif est \(\beta\).
Au total, sur l'ensemble des essais réalisés, les taux de faux positifs (FP) et de vrai négatif (VN) seront \[ FP = (1-p) \alpha \] \[ VN = (1-p) (1-\alpha) \] Les taux de vrai positif (VP) et de faux négatif (FN) seront \[ VP = p (1-\beta) \] \[ FN = p \beta \]
Au total le nombre de traitements étiquetés comme efficace sera \(VP+FP\) et celui des traitements considérés sans effet sera \(VN+FN\).
Mais parmis les traitements considérés comme efficaces, la proportion \(\theta\) de traitement vraiment efficace est de \(VP/(VP+FP)\) soit
\[ \theta = \frac{p (1-\beta)}{p(1-\beta)+(1-p)\alpha} \]
1 - Figure 1 - Illustration du calcul de la probabilité que le traitement soit efficace si l'essai est positif.
En d'autre termes, la probabilité qu'un traitement ayant donné lieu à un essai concluant soit réellement efficace dépend :
- de la probabilité a priori \(p\) que le traitement soit efficace
- du risque \(\alpha\) qu'avait l'essai de donner un résultat faussement positif (dû au hasard ou à un biais)
- de la puissance statistique \(1-\beta\) de l'essai
Ainsi une étude concluante sera d'autant moins prédictive de l'efficacité du traitement que :
- l'hypothèse ayant conduit à l'étude était très spéculative ou inexistante (comme lors d'une découverte fortuite dans une étude de data-mining par exemple où l'on cherche sans hypothèse préalable)
- l'essai à des lacunes méthodologiques (qui augmente le risque d'avoir un faux positif dû au hasard)
- il y a eu une multiplicité des comparaisons statistiques lors de la recherche de l'efficacité du traitement
- l'essai avait une faible puissance
- le critère de jugement était peut prédictif du bénéfice réel que peut apporter un traitement (cas des critères intermédiaires).
Ainsi, un résultat concluant n'a pas du tout la même valeur prédictive de l'existence de l'efficacité du traitement (valeur de démonstration) suivant qu'il s'agit d'une preuve optimale ou d'une preuve imparfaite.
Ce développement est strictement identique à la théorie des tests diagnostiques. Le risque de vrai positif est identique à la sensibilité d'un test diagnostique, le taux de vrai négatif à sa spécificité. La probabilité que le traitement soit réellement efficace à l'issu d'une étude concluante est la valeur prédictive positive (VPP). La probabilité a priori que le traitement soit efficace est la probabilité a priori que le patient soit malade (prévalence de la maladie).
4. Conséquences de l'utilisation de preuves imparfaites pour recommander l'utilisation d'un traitement
Quel est l'acuité de cette problématique en pratique ?
Quelle est la valeur prédictive de la réelle efficacité des résultats couramment utilisés pour conclure à l'efficacité du traitement ?
La probabilité a priori que le nouveau traitement soit efficace est un éléments important de la problématique. Cette probabilité peut être vu comme étant le reflet de l'efficacité des études des phases pré cliniques et précoces chez l'homme (1 et 2) de sélectionner des traitements candidats de valeur. Cette probabilité n'est pas très facile à cerner mais il est évident quelle peut avoir des valeurs très différentes en fonction des circonstances. par exemple, si un nouveau médicament appartient à une classe déjà très étudiée et ou de nombreuses autres molécules ont déjà démontré dans des bon essais qu'elles apportés un bénéfice (comme par exemple les statines en prévention secondaire), la probabilité a priori (avant la phase 3) que cette nouvelle molécule soit efficace est certainement très importante. Par contre si cette nouvelle molécule est la première de sa classe, sa réelle efficacité clinique est nettement plus incertaine. L'hypothèse de l'efficacité du traitement est bien plus spéculative que dans le cas précédent. Il est possible de cerner la valeur de cette probabilité en faisant le dénombrement des études de phase 3 qui ont été des échecs. Ce taux d'échec est d'environ 50% [ref], ce qui conduit à une probabilité a priori de 50%.
De plus, la décision d'adopter un nouveau traitement sont souvent prises à partir de preuves imparfaites (essai non comparatif, non randomisé, essai randomisé en ouvert, données manquantes non remplacées, absence de critère de jugement principal, etc.). Cela est particulièrement fréquent avec les traitements ne donnant pas lieu à un enregistrement réglementaire, avec les l'évaluation des stratégie ou dans des domaines comme celui des dispositifs ou parfois en oncologie {ref d'essais non contrôlé}. De plus, dans ces situations, va se surajouter au risque intrinsèque de faux positifs de ces études une amplification du phénomène par le biais de publication. La non publication des résultats négatif (qui sont les vrais négatif pour les traitements sans efficacité), va augmenter le risque de faux positifs ??? Dans ces conditions, le risque global d'avoir un résultat faussement positif peut être très élevé (au delà de 50%).
En pratique, il est assez fréquent de rencontrer des essais de puissance insuffisante.
En particulier, il existe un domaine où il est difficile de faire des preuves optimales Ainsi, si dans une pathologie rare, la puissance des essais évaluant les nouvelles propositions thérapeutiques est disons de l'ordre de 50% et que, compte tenu des limites méthodologiques des études réalisées, les résultats positifs obtenus ont une probabilité de 25% d'être faussement/abusivement positifs, la proportion des traitements adoptés qui sont en fait sans efficacité est de 33% si la probabilité a priori d'efficacité est de 50%. Si les hypothèses a priori sont encore plus spéculatives et moins étayées (comme c'est assez fréquemment le cas dans ce domaine ref à trouver), cette proportion de traitement inutile monte à 67% (pour une probabilité à priori de 20%).
Les conséquences de l'utilisation de preuves imparfaites de l'intérêt thérapeutiques des nouveaux traitements sont donc importantes. L'adoption des traitements a partir de preuves non optimale (essais insuffisamment puissants, non à l'abris des biais, sans démarche hypothetico déductive forte) peut conduire à ce que plus de la moitié des traitements adoptés le soit à tort et que la probabilité qu'un patient reçoive un traitement inefficace peut être de l'ordre de 50%.
Ces résultats montrent la toute fragilité des résultats d'essais significatifs. Dans de nombreux cas ce résultat "positif", souvent à l'origine d'un grand enthousiasme, n'a que finalement très peu de valeur predictive de l'efficacité du traitement : cela chaque fois que l'essai a une puissance insuffisante, présente des limites méthodologique (essai en ouvert, ITT sans remplacement des données manquantes) et/ou statistique (inflation du risque alpha, résultat de sous groupe, résultat obtenu sur un critère de jugement secondaire), ou que le résultat considéré est purement exploratoire (post hoc).
Un argument souvent apporté pour justifier des essais rapides ne cherchant pas toutes les garanties est d'augmenter les chances des patients en accélérant la mise à disposition des traitement, cela dans une démarche compassionnelle. Hors le résultat va être inverse en augmentant la probabilité de perte de chance pour les patients (en augmentant le risque qu'il est un traitement sans effet).
[ref] PNAS
Références
référence Kola:2004bq inexistante Pubmed
Paul SM, Mytelka DS, Dunwiddie CT, Persinger CC, Munos BH, Lindborg SR, et al. [Internet]. Nat Rev Drug Discov. 2010 [cited 2014 May 6]. Available from: http://www.nature.com/doifinder/10.1038/nrd3078 Pubmed
référence Ioannidis:2005bw inexistante Pubmed
Hamel MB, Darrow JJ, Avorn J, Kesselheim AS. New FDA Breakthrough-Drug Category — Implications for Patients. N Engl J Med. 2014 Mar 27;370(13):1252–8. Pubmed
référence Johnson:2013cv inexistante Pubmed
| previous | next |
