Il n’est pas possible d’exclure la possibilité que ce résultat soit un faux positif dû au hasard car il n’a été obtenu sur un critère de jugement secondaire et non pas sur le critère de jugement principal de l’essai.

De ce fait, ce résultat est issu d’une multiplication des comparaisons statistiques réalisées à la recherche d’un intérêt du traitement. À partir du moment où une quelconque de ces comparaisons était trouvée statistiquement significative, elle était utilisée pour conclure et justifier l’intérêt du traitement évalué. Ainsi le risque de conclure à tort à l’intérêt du traitement n’est absolument pas contrôlé et ne peut pas être considéré comme faible (<5%). En effet, à chacune de ces comparaisons qui ont été répétée, il y avait un risque de conclure à tort de 5%. Au total, le risque de trouver au moins une différence significative augmente drastiquement avec le nombre de comparaisons effectues. Par exemple, avec un traitement sans effet, si 100 critères de jugement sont explorés, 5 résultats significatifs sont attendus. À partir de 20 critères, il est à peu près certain d’avoir une différence statistiquement significative !

La mise en avant (pêche à la ligne) des résultats significatifs obtenus à partir d’une multiplication des comparaisons statistiques sur les critères de jugement n’a donc aucune valeur de démonstration car le risque alpha n’est absolument pas contrôlé dans cette opération.

Il est, de ce fait, impossible de conclure à l’intérêt du traitement, partir des résultats des critères secondaires. Il n’est pas non plus possible de rechercher d’autres avantages du traitement qu’il pourrait avoir en plus de son bénéfice mis en évidence sur le critère de jugement principal à l’aide des critères de jugements secondaires. Cela doit faire appel à des techniques statistiques adaptées comme la méthode séquentielle hiérarchique.

En effet, avec un critère de jugement principal significatif il est possible de conclure à l’intérêt du traitement avec un risque alpha contrôlé. Le risque de recommander l’utilisation du traitement alors qu’il n’a aucun effet est contrôlé au niveau consenti (en général 5%). À partir de ce moment les critères de jugement secondaires ne sont plus utilisés comme argument de l’intérêt primaire du traitement mais pour argumenter d’autres avantages du traitement : En plus d’avoir un bénéfice sur le critère principal, le traitement apporte aussi un bénéfice sur le critère secondaire X. Mais sans plus de précautions, il y a eu une inflation du risque alpha car on peut « pêcher à la ligne » le critère qui soutiendra la démonstration de l’avantage complémentaire. Sous l’hypothèse nulle que le traitement ne comporte aucun avantage complémentaire, si 20 critères de jugement sont investigués il est à peu près certain d’en trouver un significatif. Le risque de conclure à tort à un avantage complémentaire du traitement est ainsi fortement augmenté si l’on regarde sans précaution les critères secondaires. Pour réaliser cette recherche d’avantage complémentaire au niveau des critères de jugement secondaires il convient d’utiliser une procédure séquentielle hiérarchique.

Une revendication basée sur un critère secondaire n’a donc aucune valeur de preuve car le risque de faire cette recommandation à tort est incontrôlé.

Un critère de jugement secondaire statistiquement significatif ne permet pas de démontrer un bénéfice même si le critère principal est significatif.

En pratique, les critères sont souvent corrélés entre eux et non pas indépendant en probabilité. Dans cette situation l’inflation du risque alpha est moindre mais comme il est impossible de prender en compte cette corrélation, cet argument n’est pas en mesure de redonner de la valeur aux critères de jugement secondaires.

Voir aussi critère de jugement principal

1. Un résultat significatif sur le critère principal ne change pas la problématique des critères de jugement secondaire

Les problèmes liés à l'utilisation d'un résultat de critère de jugement secondaire pour conclure à l'intérêt du traitement se maintiennent même si un résultat significatif a été obtenu sur le critère de jugement principal.

L'essai est concluant sur son critère de jugement principal mais ce résultat n'est pas très convainquant, par exemple, en raison d'un manque notable de pertinence clinique. A ce moment, il est tentant d'aller regarder si un résultat moins contestable n'aurait pas été obtenu sur un des critères secondaires. Si c'est le cas, il est alors conclu que le traitement apporte un bénéfice intéressant (le résultat du critère de jugement secondaire); l'obtention d'un résultat significatif sur le critère principal semblant alors protégé la conclusion globale. Mais cette protection est inexistante. L'exploration des critères de jugement secondaires à déboucher sur une multiplicité des comparaisons et une inflation du risque alpha. Le risque de reconnaitre à tort un intérêt au traitement n'est plus du tout contrôlé à 5% (en bilatéral). De plus, les critères secondaire sont souvent moins à l'abris des biais (en particulier celui d'attrition) que le critère principal.

Par exemple, en cancérologie un essai démontre une augmentation faible de la survie globale de l'ordre de un mois. Méthodologiquement, ce résultat est solide (obtenu sur le critère de jugement principal). Ce résultat n'est pas très convainquant et la conclusion est qu'il faudrait peut être rechercher l'intérêt du traitement sur un autre plan que l'augmentation de la survie. A ce moment, une exploration des critères de sécurité, de qualités de vie, etc. est effectuée (implicitement, sans que l'on n'ai vraiment conscience de faire ce repêchage du traitement). Cela débouche donc sur une pêche à la ligne et l'on peut par exemple tomber sur une amélioration d'un critère de qualité de vie avec le traitement par rapport au contrôle. Ce résultat ne doit pas être considéré car le risque qu'il provienne uniquement du hasard est inconnu et certainement fort (malgré la signification statistique obtenu sur le critère principal).