Critère de jugement principal

1. Intérêt

Le but du critère de jugement primaire est d'empêcher la survenue d'une inflation du risque alpha au niveau des critères de jugement en évitant toute multiplicité des comparaisons.

Le critère de jugement principal est un critère de jugement, choisi a priori lors de l'élaboration du protocole, et qui sera le critère de jugement unique sur lequel se basera la conclusion à l'efficacité ou non du traitement évalué.

En effet, sans le choix a priori d'un critère unique, il serait possible de scruter les résultats produits par l'ensemble des critères de jugements de l'essai à la recherche de ceux qui "vont bien", c'est à dire qui vont dans le sens d'un effet du traitement statistiquement significatif. Comme il est habituel de mesurer dans un essai une dizaine de critères de jugement, voir plus, cette démarche s'apparente plus à une "pêche à ligne" des arguments "qui arrange" qu'à une réelle confrontation à la réalité d'une hypothèse thérapeutique. Avec un traitement sans aucune effet et 20 critères de jugement indépendant à scruter, on attend en moyenne un résultat statistiquement significatif. Si le résultat obtenu sur ce critère est pris comme "preuve" de l'efficacité du traitement, on voit que l'on aura au moins un argument pour justifier l'intérêt du traitement quel que soit sa réelle efficacité. On pourrait ainsi confirmer de manière systématique l'hypothèse testée quelle que soit sa véracité.

Pour éviter cette pêche à ligne, on force la décision à ne se baser que sur un seul et unique test statistique, celui du critère de jugement principal. mais pour avoir un réel controle du risque alpha il convient que ce choix se fasse a priori, sans avoir aucune connaissance des résultats de l'essai (autrement cela revient à faire d la "pêche à la ligne").

Un changement de critère de jugement principal en cours d'étude n'a donc aucune conséquence dommageable à partir du moment où la garantie absolue que ce changement a été effectué indépendamment des résultats est apportée.

En pratique, il s'avère cependant que ce type de changement post hoc de critère de jugement est fréquent. Dans une étude méta-épidémiologique, Chan et al. note en comparant, dans un échantillon d'essais, les publication au protocole qu'un changement (changed, introduced, or omitted) post hoc du critère de jugement principal a eu lieux dans 62% des cas [ref]. De ce fait il est indispensable de disposer du protocole lors de l'évaluation critique d'un compte rendu d'essai clinique afin de pouvoir détecter d'éventuels changements post hoc de ce type (ou d'autres) [ref]. En l'absence de protocole publié ou disponible, l'enregistre de l'essai dans un registre prospectif d'essais (comme clinicaltrial.gov) peut apporter une certain aide.

2. Gestion de plusieurs critères de jugements principaux

Ne pouvoir conclure avec certitude que sur un seul critère de jugement a un coté limitatif. Un essai est un investissement financier, humain important. Avec l'approche du critère de jugement principal, seul la réalisation d'autres essais permettrait de démonter l'effet du traitement sur d'autre critère. Ces réplication sont rarement faites et posent souvent un problème éthique. Pour dépasser cette limitation, il a été développer une séries de méthodes qui permettent de démontrer en toute rigueur l'effet d'un traitement sur plusieurs critères de jugement dans un même essai.

Ces méthodes permettent d'avoir plusieurs critères de jugement principaux. Bien entendu si un essai utilise plusieurs critères de jugement principaux sans mettre ene oeuvre ces méthodes, ses résultats ne seront pas acceptables car le risque que ces résultats soient faussement positif ne sera pas controlé.

La première approche consiste à répartir le risque alpha global consentie sur les critères choisis. la méthode statistique de base pour faire cette répartition est la méthode de Bonferoni qui consiste à diviser le risque alpha global par le nombre de critères de jugement envisagé. Pour être significative, un résultat obtenu au niveau de l'un de ces critères de jugement devra petre inférieur à la valeur obtenu. Chaque test est réalisé avec le seuil ajusté de la signification statistique tenant en compte le nombre de comparaison effectuée globalement. par exemple avec 2 critères de jugements, le seuil devient pour chaque critère 5%/2 = 2.5%. Si au niveau d'un critère on obtient par exemple 3% (p=0.03), il ne sera pas possible de conclure à une différence statistiquement significative car le seuil ajusté (2.5%) pour tenir compte des 2 critères de jugement principaux n'est pas atteint. D'autres méthodes existent pour réaliser cet ajustement comme la méthode de Hockberg ???.

Une autre approche est celle de démarche séquentielle hiérarchique. ???

Voir aussi la démarche séquentielle hiérarchique

3. Interprétation des essais non concluant sur leur critère de jugement principal

4. Changement post hoc des critères de jugements principaux

Outcome Reporting in Industry-Sponsored Trials of Gabapentin for Off-Label Use S. Swaroop Vedula, M.D., M.P.H., Lisa Bero, Ph.D., Roberta W. Scherer, Ph.D., and Kay Dickersin, Ph.D. N Engl J Med 2009; 361:1963-1971November 12, 2009DOI: 10.1056/NEJMsa0906126

NEJM 2009: Evaluation of 12 reports of trials of Gabapentin 8 had a primary endpoint in manuscript different from protocol 5 trials failed to report protocol-defined primary outcomes

ENHANCE Trial: Changes driven by science or business? Vytorin vs. simvastatin for preventing atherosclerosis (negative trial) Completed in 2006; Registered in clinicaltrials.gov in OCT 2007 Endpoints entered differed from original design

Chan et al. (JAMA, 2004) compared published articles with protocols for 102 randomized trials; 62% of the trials had at least one primary endpoint that had been changed, introduced, or omitted.

Références

Chan AW, Hrobjartsson A, Haahr MT, Gotzsche PC, Altman DG. Empirical evidence for selective reporting of outcomes in randomized trials: comparison of protocols to published articles. JAMA. 2004;291(20):2457–65. Pubmed

référence Dwan:2014iq inexistante Pubmed