Sommaire général

Introduction

Principe général de l’évaluation des résultats des essais cliniques

Qu’est ce qu’un résultat

Classification des résultats en faveur de l'efficacité

Les éléments de la force de conviction d’un résultat d’essai thérapeutique

Résultat faussement positif dû au hasard

Résultat faussement positif dû à un biais

Pertinence clinique

Bénéfice clinique net

Démarche hypothetico déductive

Cohérence externe

Les différents types de résultats

Intérêt thérapeutique

Cohérence externe d’un résultat

But évaluation

Conséquences des décisions basées sur des preuves imparfaites

Chapitre 1


PDF


Les différents types de résultats

Un essai thérapeutique produit un grand nombre de résultats : un pour chaque critère de jugement (principaux, secondaires ou de sécurité). Ce nombre peut être augmenté par l'existence de sous groupe, d'analyses en ITT et en per protocole, etc. Tou sces résultats n'ont pas la même validité et force de conviction. A partir des 4 éléments faisant la validité d’un résultat :

  • la possibilité que le résultat soit un faux positif dû au hasard,
  • la possibilité que le résultat soit un faux positif dû à un biais,
  • sa pertinence clinique,
  • sa robustesse vis-à-vis des effets indésirables (bénéfice clinique net),

il est ainsi possible de distinguer plusieurs catégories de résultats (pour la définition précise de l'une de ces entités voir la section suivante correspondante) :

  • Résultat allant dans le sens d'un effet bénéfique du traitement (supériorité versus traitement actif ou effet bénéfique versus placebo)
    • Bénéfice démontré et cliniquement pertinent, bénéfice net favorable démontré [1]
    • Bénéfice démontré et cliniquement pertinent, bénéfice net favorable NON démontré (DR<0, NS) [12]
    • Bénéfice démontré mais bénéfice net DÉFAVORABLE objectivé ou suspecté (DR>0, NS ou p<0.005) [11]
    • Bénéfice démontré mais NON cliniquement pertinent [2]
    • Bénéfice suggéré, cliniquement pertinent [3] (qq soit le bénéfice net, si bénéfice net non favorable mettre en avant l’événement indésirable catégorie 8 )
    • Bénéfice suggéré, NON cliniquement pertinent [4] (si bénéfice net non favorable -> mettre en avant l’événement indésirable catégorie 8)
    • Résultat non statistiquement significatif [5]
    • Résultat non statistiquement significatif pour un critère de sécurité [21]
    • (Pour mémoire car ce résultat est en fait un résultat allant dans le sens d'un effet délétère, sur un critère d'efficacité, infériorité vs traitement actif ou effet délétère vs placebo, suggéré ou démontré [13])
  • Résultat allant dans le sens d'un effet délétère
    • Effet délétère suspecté ou démontré, sans aucun bénéfice par ailleurs [8]
    • Effet délétère suspecté ou démontré, mais bénéfice par ailleurs
      • Effet délétère ne remettant pas en cause le bénéfice [14]
      • Effet délétère remettant en cause le bénéfice (quantitativement ou qualitativement) [15]
    • Effet délétère sous estimé empêchant l'appréciation correcte du bénéfice clinique net [16]
    • Supériorité (effet bénéfique, moins d’EI) -> devient un critère de bénéfice (démontré ou suggéré)
  • Résultat allant dans le sens de l'équivalence de 2 traitements (non infériorité)
    • Non infériorité démontrée, cliniquement pertinente [6] = progrès thérapeutique
    • Non infériorité démontrée (non cliniquement pertinente) [7]
    • Non infériorité seulement suggéré [9]
  • Résultat ne montrant pas de défaut de tolérance pouvant contrebalancer le bénéfice [17]

1. Résultat démontré, cliniquement pertinent, bénéfice net assuré

Il est possible d’écarter que le résultat soit un résultat faussement positif dû au hasard ou dû à un biais. Le résultat est cliniquement pertinent et n’est pas susceptible d’être contre balancé, quantitativement ou qualitativement, par des effets indésirables de gravité au moins identique au bénéfice apporté. Ce résultat, démontré et cliniquement pertinent, fourni ainsi une preuve de l’intérêt thérapeutique de ce traitement, qui peut être à la base de son utilisation systématique en pratique.

Table None - Table 1

faux positif dû au hasard faux positif dû à un biaispertinence cliniquebénéfice clinique netintérêt thérapeutique
excluexcluassuréeassuré favorableOK

Ce résultat est issu d’une méthodologie et d’une démarche statistique garantissant correctement que le résultat ne soit pas un faux positif dû à un biais ou au hasard.

Le résultat est à l’abri des biais :

  • biais de sélection en raison d’une randomisation imprévisible,
  • biais de suivi et de mesure en raison d’une réalisation en double insu
  • biais de mesure en raison aussi de la réalisation de l’essai en double insu
  • biais d’attrition en raison d’une analyse en ITT avec remplacement des données manquantes.

Au niveau statistique cela signifie que le résultat est statistiquement significatif (au moins au seuil de 5% bilatéral) et qu’il n’est pas issu d’une démarche statistique engendrant multiplicité et inflation du risque alpha (multiplicité des critères de jugement, analyse de sous groupe, analyse intermédiaire non protégées, etc.) Le résultat est cliniquement pertinent (aussi bien en termes de comparateur, de critère de jugement, de taille d’effet et de population ciblée). Il démontre donc que le traitement apporte un bénéfice cliniquement pertinent (et représentant une plus value médicale avérée). Le calcul du bénéfice net montre que les événements indésirables de gravité identique au bénéfice apportée ne contre balancent pas numériquement le bénéfice. De même, il n’a pas identifié d’effets indésirables de gravité bien supérieure au bénéfice apportée qui invalideraient de façon qualitative la balance bénéfice risque.

2. Bénéfice cliniquement pertinent démontré mais la balance bénéfice risque n'est pas assurée

Un bénéfice cliniquement pertinent est démontré mais il n’est pas possible d’exclure que les événements indésirables puissent le contre balancer en totalité quantitativement. Un effet délétère est connu, en général objectivé dans l’essai lui-même, mais le bénéfice clinique net n’est pas assuré car il est non statistiquement significatif. L’estimation (calculée ou directement mesurée par un critère composite) de la différence de risque correspondant au bénéfice clinique net est favorable (DR<0) mais elle est non statistiquement significative (DR<0, NS). Il est donc impossible de raisonnablement exclure que les événements indésirables puissent contre balancer en totalité le bénéfice obtenu. En effet, le calcul du bénéfice net ne permet pas d’exclure que, raisonnablement avec un degré de certitude de 95%, le nombre d’événements indésirables induit soit supérieur au nombre d’événements cibles évités. In fine, il n’est pas possible de conclure à un bénéfice clinique net favorable.

Un résultat de ce type est insuffisant pour conclure à l’intérêt thérapeutique du traitement en raison de l’incertitude existant sur la balance bénéfice risque.

faux positif dû au hasard exclu
faux positif dû à un biais exclu
pertinence clinique assurée
bénéfice clinique net non assuré
intérêt thérapeutique non

Ce raisonnement se base sur le calcul du bénéfice net absolu qui s’obtient en soustrayant de la différence de risque (DR, absolute risk reduction ARR) des évènements cibles évités la différence des risques des évènements indésirables induits. Bénéfice net, différence des risques (DR) = DR(évènements cible évités) – DR(évènements indésirables) Dans ce cas la borne supérieure de l’intervalle de confiance de ce bénéfice net absolu est inférieure à zéro montrant, que compte tenu de la certitude statistique apportée par les données disponibles, il n’est pas possible d’exclure que le nombre d’évènements indésirable ne soit pas supérieur au nombre d’événement cible évité. Cette situation peut avoir deux causes :

  • Le nombre d’événement indésirable induit est effectivement supérieur au nombre d’évènements évités
  • L’incertitude sur le nombre d’événements indésirables induits est très importante ce qui rend à son tour incertaine l’estimation du bénéfice net. L’essai est insuffisamment puissant pour estimer correctement la sécurité du traitement compte tenu de l’importance relative des évènements indésirables par rapport au bénéfice.

En raison de cette incertitude, l’intervalle de confiance de l’estimation du bénéfice net est très large et la borne supérieure devient positive. Compte tenu de cette imprécision, il n’est pas possible de conclure, avec suffisamment de certitude, à une balance bénéfice risque acceptable. Les données ne permettent pas de démontrer que le bénéfice est quantitativement supérieur au risque.

3. Bénéfice clinique net défavorable (alerte de safety, DR >0 NS ou p<0.05)

Le résultat est en faveur d’un bénéfice (sur le critère considéré) mais celui-ci est compensé en totalité, quantitativement ou qualitativement, par des événements indésirables de même gravité ou de gravité plus importante. Si l’excès d’événements indésirables est qualitatif, le bénéfice net est défavorable (statistiquement significatif ou non). Il n’est pas en faveur d’une réduction nette d’événements. Si cet excès est qualitatif, il existe des événements indésirables de gravité clinique supérieure au bénéfice apporté par le traitement.

Table None - Table 3

faux positif dû au hasard faux positif dû à un biaispertinence cliniquebénéfice clinique netintérêt thérapeutique
exclu exclu assurée défavorable quantitativement (DR>0, NS ou p<0.05) ou qualitativement non

Cela signifie que le traitement présente un problème de sécurité et que, même s’il apporte un bénéfice réel et pertinent, celui-ci est insuffisant, quantitativement ou qualitativement, vis-à-vis des évènements indésirables.

Cette situation peut provenir :

  • Soit de la survenue d’événements indésirables de gravité supérieure au bénéfice apportée. Le risque que fait courir le traitement est disproportionné par rapport au bénéfice qu’il apporte. C’est par exemple le cas, si l’événement indésirable est une hépatite cytolytique pour un antalgique utilisée en petite traumatologie (bénéfice démontré sur une échelle analogique visuelle de douleur).
  • Soit de la survenue d’événements indésirables de gravité comparable au bénéfice apporté avec une telle fréquence qu’ils contre balancement quantitativement le bénéfice apporté. Au total le bénéfice clinique net est négatif. Par exemple, un fibrinolytique a la phase aiguë de l’infarctus du myocarde qui engendre deux fois plus d’AVC invalidants (par hémorragie) qu’il n’évite de décès.

Table 4 - Les différents cas de figure de la balance bénéfice risque quantitative possible avec un bénéfice démontré

Bénéfice net Conclusion Intérêt thérapeutique
DR<0, Significatif bénéfice non contre balancé par les évènements indésirables oui
DR<0, NS il n’est pas possible d’exclure que le bénéfice soit contrebalancé par un surcroît d’événements indésirables non
DR>0, significatif Au total le traitement induit plus d’évènements indésirables qu’il n’évite d’événements cibles de son action non
DR>0, NS il n’est pas possible d’exclure que le bénéfice soit contrebalancé par un surcroît d’événements indésirables non

Exemple : ???

4. Résultat démontré, non cliniquement pertinent

Il est possible d’écarter que le résultat soit un résultat faussement positif dû au hasard ou dû à un biais, mais le résultat n’est pas cliniquement pertinent. Il ne correspond donc pas à un bénéfice intéressant en pratique. Bien que réel, ce résultat n’a pas suffisamment de valeur médicale. Il ne peut donc pas être considéré comme représentant un réel progrès thérapeutique à même de changer les pratiques. Ce type de résultat est insuffisant pour considérer que le traitement a un intérêt thérapeutique avéré.

Table None - Table 5

faux positif dû au hasard faux positif dû à un biaispertinence cliniquebénéfice clinique netintérêt thérapeutique
exclu exclu non sans objet non

Le manque de pertinence clinique d’un résultat peut provenir de plusieurs causes.

5. Résultat démontré mais absence de cohérence externe

Le résultat est formellement démontré mais manque de cohérence externe. Il n'est pas confirmé par les autres études comparables. Ce résultat n'est pas retrouvé dans la méta-analyse regroupant cet essai et les autres essais disponibles abordant la même question thérapeutique. Le résultat de la méta-analyse n'est plus statistiquement significatif et montre un effet traitement moindre. Une hétérogénéité existe entre tous ces résultats suggérant que le résultat de cet étude est réellement discordant par rapport à ceux des autres études. La réplication de ce résultat n'es donc pas assuré. En l'absence d'éléments pour expliquer l'obtention de résultat ne confirment pas l'effet du traitement sur ce critère, il convient de considérer ce dernier comme étant artefactuel.

Ce manque de cohérence de ce résultat avec ceux des autres études lui fait perdre son caractère probant et il ne peut plus représenter une preuve formelle de l'intérêt thérapeutique du traitement.

6. Résultat seulement suggéré (cliniquement ou non cliniquement pertinent)

Le résultat est en faveur de l’efficacité du traitement mais il n’est pas possible d’écarter qu’il puisse être un résultat faux positif dû au hasard (erreur statistique) ou dû à un biais. De ce fait, la prise de risque est trop importante dans l’acceptation de ce résultat comme preuve de l’efficacité du traitement.

Table None - Table 6

faux positif dû au hasard faux positif dû à un biaispertinence cliniquebénéfice clinique netintérêt thérapeutique
non exclu sur une ou les 2 catégories -sans objet sans objet non

De nombreuses circonstances peuvent conduire à cette situation :

  • Le résultat a été obtenu dans un cadre de réalisation de multiples tests statistiques : critère de jugement secondaire, sous groupe, analyse intermédiaire non protégée contre l’inflation du risque alpha, mesures répétées au cours du temps, essai multibras sans gestion de la multiplicité engendrée, etc.
  • Le résultat est post hoc et n’est donc pas issu d’une démarche hypothético-déductive
  • L’essai n’est pas à l’abri des biais : randomisation prévisible, absence de double aveugle, présence d’une attrition, analyse non réalisée en intention de traiter, données manquantes non remplacée, etc.

En effet un risque d’erreur alpha non contrôlé ne permet absolument pas de savoir le risque de conclure à tort est acceptable ou pas (puisque que ce risque peut être supérieur au seuil de la signification statistique fixé). De ce fait il n’est pas possible de conclure à la démonstration du résultat.

De même, l’absence de protection complète contre les biais ne permet pas d’exclure que le résultat puisse être faussement positif en raison d’un biais (visible ou non). N’ayant pas cette garanti, il n’est donc pas possible de prendre le risque de conclure à la démonstration du résultat. Il est seulement suggéré de ce fait.

Ces résultats seulement suggérés et non démontrés sont insuffisants pour donner un argument en faveur de l’intérêt thérapeutique avéré du nouveau traitement. Ils peuvent cependant inciter à réaliser un nouvel essai de confirmation. La réalité de ce type de résultat n’étant pas acquise, il est donc inutile de s’interroger sur leur pertinence clinique et le bénéfice clinique net.

Les éléments justifiant ce verdict sont précisés et justifiés pour les 2 catégories « faux positif dû au hasard » et « faux positif dû aux biais ».

7. Résultat seulement suggéré mais possibilité d'upgrading

????

8. Résultat non significatif

Le résultat n’est pas statistiquement significatif, il ne peut donc pas servir à justifier un éventuel intérêt du traitement, même s’il va dans le bon sens.

Un résultat non significatif est synonyme d’absence de résultat. Il ne permet pas de conclure à l’effet du traitement évalué et il ne permet pas non plus de conclure à l'absence de cet effet (cf. $concept résultat NS )

Ainsi, il n’est pas possible, sans prise de risque exagérée, d’écarter la possibilité que ce résultat soit faussement positif dû au hasard. De ce fait, ce résultat ne peut pas être considéré comme apportant une quelconque preuve de l’efficacité du traitement.

faux positif dû au hasard non exclu
faux positif dû à un biais sans objet
pertinence clinique sans objet
bénéfice clinique net sans objet
Intérêt thérapeutique non

Le concept de signification statistique est directement lié à celui de résultat faussement positif dû au hasard. La valeur de p (p-value) est la quantification du risque d’erreur alpha liée au résultat considéré. C’est la probabilité d’obtenir une différence au moins aussi importante que celle observée sans que le traitement soit efficace (hypothèse nulle). Il s’agit donc de la quantification du risque d’erreur de conclure à tort à l’efficacité du traitement (alors que le traitement est en réalité sans effet). Si ce risque est supérieur à un seuil appelé seuil de la signification statistique (et qui est fixé en général à 5% en bilatéral) il est impossible de conclure à l’existence de l’efficacité du traitement car ce risque alpha est trop important. Par contre si la p value est inférieure au seuil, on accepte de conclure car le risque alpha sous-jacent est considéré comme suffisamment petit pour accepter de courir un tel risque.

Note - Note

Attention : p<0.05 ne signifie pas forcément que le résultat est statistiquement significatif. Un seuil de la signification statistique plus petit a pu être choisi a priori dans le protocole de l’étude. Une méthode permettant des comparaisons multiple a pu aussi être utilisée, conduisant à diminuer le seuil à atteindre par les p individuels afin de maintenir l’inflation du risque alpha consécutive au seuil habituel de 5% globalement

Voir aussi fiche concept la multiplicité des comparaisons

En cas de résultat non statistiquement significatif il est impossible de faire une conclusion. Si l’essai compare 2 traitements actifs, il est impossible de conclure à l’équivalence des 2 traitements, car une différence non significative peut provenir soit d’une réelle absence de différence mais aussi d’un manque de puissance, sans qu’il soit possible de faire la part entre les 2 possibilités.

Voir aussi le risque alpha

9. Résultat non significatif pour un critère de sécurité

L'absence de signification statistique ne signifie pas l'absence d'effet indésirable. En effet, un résultat NS peut provenir de 2 causes indistinguable : l'absence d'effet et le manque de puissance.

Voir aussi l'évaluation de la sécurité

10. Infériorité (p<0.05), démontré ou suggéré (sur un critère d’efficacité cliniquement pertinent)

Le résultat montre que le nouveau traitement est inférieur au traitement contrôle (ou au placebo) sur un critère cliniquement pertinent. Ce résultat est statistiquement significatif. Si la comparaison était versus placebo, ce type de résultat correspond à la mise en évidence d’un effet indésirable et remet en cause l’intérêt du traitement. Même si le critère de jugement était initialement un critère d’efficacité, ce résultat révèle un problème de sécurité.

Si le nouveau traitement été comparé à un traitement actif, ce résultat montre l’infériorité du nouveau traitement qui ne peut pas considérer alors comme une alternative de première intention au traitement de référence utilisée dans le groupe contrôle. Éventuellement, ce nouveau traitement peut alors être envisagé en alternative à ce traitement de référence en cas d’échec de celui-ci ou d’intolérance, mais après qu’il y ait eu une démonstration de la supériorité de son efficacité par rapport au placebo putatif (cf. fiche concept placebo putatif et essai de non infériorité d’efficacité suffisante ???). En effet, ce résultat peut signifier bien plus qu’une relative infériorité par rapport au traitement de référence et être en réalité le reflet d’un effet délétère (qui rend le traitement en fait « inférieur » au placebo). Il convient donc d’écarter cette possibilité avant de conclure que le traitement, bien qu’inférieur au traitement de référence, a tout de même une efficacité suffisante pour représenter une alternative de 2ème intention. Les comparaisons indirectes peuvent être une manière d’explorer cette problématique.

11. Résultat montrant un défaut de sécurité, démontré ou simplement suggéré, sans bénéfice en regard

Ce résultat montre un effet délétère (défaut de sécurité ou infériorité d’efficacité), avec la mise en évidence de l’infériorité du nouveau traitement par rapport à son contrôle (traitement actif ou placebo). Aucun bénéfice du traitement n’ayant été démontré par ailleurs sur un critère de même gravité clinique, cet effet délétère ne peut donc pas être justifié par un gain en événements évités par ailleurs. Le calcul d’un bénéfice clinique net est sans objet (absence de bénéfice brut, cf. la discussion du bénéfice net section 4.4.). Il peut ainsi s’agir, par exemple, d’une augmentation des hémorragies mortelles sans que le traitement est démontré qu’il apporté une réduction d’une mortalité de cause spécifique.

Cet effet délétère peut être soit démontré soit simplement suggéré. Dans les 2 cas, le résultat est suffisamment fort pour invalidé l’intérêt du résultat. En effet, en cas de suggestion d’effet délétère, la situation n’est alors plus de rechercher des arguments pour l’utilisation du traitement mais plutôt pour sa non-utilisation. La logique du raisonnement s‘inverse. Il n’est plus question de minimiser le risque de conclure à tort à l’efficacité (risque alpha ou biais), mais bien de miniser celui de ne pas conclure à tort à l’existence d’une d’un effet délétère (risque bêta). De ce fait, la recherche d’une démonstration statistique stricte (résultat significatif sans inflation du risque alpha et absence formelle de biais) n’est plus de mise et une simple tendance (non significative ou non totalement à l’abri des biais) autorise d’avancer l’infériorité (le surcroît d’événements indésirables) par précaution. Il faut cependant être conscient que ce principe induit une inflation du risque de résultat faussement négatif (non démonstration ou acceptation du bénéfice du traitement) parfois très importante, comme en safety, et conduit à un risque élevé de conclusion faussement positive en raison des défauts de safety par exemple.

La recherche d’un bénéfice, qui aurait permis de compenser cet effet délétère, a portée sur les critères de gravité similaire à celle de cet effet indésirable. L’essai ne montre aucun bénéfice de ce type. Par exemple, si l’effet délétère est observé sur un critère de mortalité, comme des décès toxiques en cancérologie ou des hémorragies mortelles en anti-coagulation. Il a été recherché un bénéfice sur la mortalité totale ou sur une mortalité de cause spécifique. Si aucune réduction de mortalité totale ou de cause spécifique n’est observée, il est impossible d’accepter un effet délétère de ce type.

Exemple : Prasugrel dans ACCOAST (http:
www.ncbi.nlm.nih.gov/pubmed/23991622) TRITON avec les hgie mortelles

12. Surcroît d'effet indésirable acceptable compte tenu du bénéfice apporté (bénéfice net favorable)

Ce résultat montre une augmentation statistiquement significative de cet évènement indésirable, mais cette augmentation n’est pas suffisamment importante (quantitativement ou qualitativement) pour remettre en cause le bénéfice obtenue par ailleurs. Le bénéfice clinique net reste favorable (Cf. benefice net)

C’est l’image en miroir (du point de vue des évènements indésirables) d’un résultat démontré et cliniquement pertinent débouchant sur un bénéfice clinique net favorable démontré malgré un surcroît d’événements indésirables statistiquement significatif. Cette augmentation d’événements indésirables n’est pas suffisamment importante (quantitativement ou qualitativement) pour remettre en cause le bénéfice obtenue.

??? Exclure une sous estimation par manque de sensibilité et de spécificité. Intérêt de l'adjudication recueil sensible : détection performante classification spécifique : guide, définition a priori, adjudication

13. Effet délétère remettant en cause un bénéfice obtenu par ailleurs

Ce résultat montre un effet délétère (surcroît d’événements indésirables) qui remettant en cause (quantitativement ou qualitativement) un bénéfice obtenu par ailleurs sur des événements de même gravité clinique. De ce fait, ce bénéfice débouche sur l’absence de démonstration d’un bénéficie clinique net favorable (DR<0 NS) ou, pire, sur un bénéfice net défavorable, montré (DR>0 p<0.005) ou non exclus (DR>0, NS) (Cf. discussion du bénéfice net).

Exemple : ATLAS ACS 2 - TIMI 51 , rivaroxaban dans ACS, (http:
www.ncbi.nlm.nih.gov/pubmed/22077192)

14. Effet délétère sous estimé par biais

Ce résultat suggère plutôt l'absence de l'effet indésirable considéré mais ce résultat n'est pas à l'abris des biais.

Pour les résultats de sécurité en faveur de l'absence d'un effet indésirables les s'inversent par rapport à ceux pouvant affecter la recherche de l'efficacité. En effet, pour la sécurité le biais redouté est celui qui conduit à un résultat faussement négatif (qui ne montre pas à tort l'existence d'un effet indésirable), tandis que pour l'efficacité le biais redouté est celui qui conduit à un résultat faussement positif (permettant de conclure à tort à l'efficacité). Hors les moyens méthodologiques mis en oeuvre pour protéger des biais la recherche de l'efficacité sont conservateurs, c'est à dire qu'ils tendent à réduire les différences entre les 2 groupes comparés afin de ne pas faire conclure à tort à l'existence d'une différence. C'est justement, pour la recherche de la sécurité, des situations qui pourraient faire conclure à tort à l'absence de défaut de sécurité (à l'absence d'effet indésirable).

Pour ce résultat, il n'est pas possible d'exclure qu'il soit apparemment en faveur de l'absence d'effet indésirable du fait d'un biais conservateur, favorisant l'émergence de résultat faussement rassurant négatif.

Les situations non à l'abris des biais pour l'évaluation de la sécurité d'un traitement sont :

  • l'analyse en ITT
  • le remplacement des données manquantes
  • l'utilisation de méthodes peu sensible et/ou peu spécifique pour la recherche de l'effet indésirable considéré
  • l'utilisation de critère de jugement très large (induisant une dilution d'un effet indésirable dans des événements non spécifiques)
  • l'utilisation du traitement de comparaison de manière à maximiser le nombre d'événements indésirables qu'il engendre (dose, co-pathologies, etc.)
  • l'absence de double aveugle

Voir aussi les biais potentiel de l'évaluation de la safety

15. Résultat ne montrant pas de défaut de tolérance pouvant contrebalancer le bénéfice

Ce résultat ne suggère pas l'existence d'un effet indésirable qui pourrait contrebalancer qualitativement ou quantitativement le bénéfice obtenu.

Le critère de jugement est un critère de sécurité d'emploi (safety) et aucune différence statistiquement significative n'a été notée entre les 2 groupes. Une différence non significative ne permet pas de conclure à l'absence de surcroit de cet événement indésirable mais ce résultat n'est pas susceptible de contre balancer le bénéfice obtenu car :

  • soit la gravité de cet événement est faible comparé à la gravité des événements prévenus par le traitement
  • soit l'événement est très rare et ne peut numériquement compenser le nombre d'événements évités. Malgré le manque de précision avec lequel on connait l'effet du traitement sur ce critère (intervalle de confiance très large ou incalculable), le bénéfice clinique net après intégration de ces événements reste favorable au traitement étudié.

16. Non infériorité cliniquement pertinente démontré

Le résultat permet de conclure à la non-infériorité et montre une perte d’efficacité potentielle acceptable compte tenu de l’avantage par ailleurs apporté par le traitement. Cela sous entend aussi que cet avantage est parfaitement démontré dans cet essai où dans un autre (ou que cet avantage est implicite) et que son importance clinique permet d’accepter une perte d’efficacité au moins aussi importante que celle compatible avec le résultat démontré.

Voir aussi non infériorité

17. Non infériorité démontré mais non cliniquement pertinente

Le résultat montre une non-infériorité démontré statistiquement et méthodologiquement mais qui n’est cependant pas acceptable car entraînant potentiellement une perte d’efficacité inacceptable compte tenu de l’avantage par ailleurs. La perte d’efficacité potentielle sous jacente à la démonstration de la non-infériorité n’est pas acceptable car non compensé par un avantage par ailleurs, démontré ou implicite, suffisamment intéressant pour justifier cette perte d’efficacité. Soit l’avantage par ailleurs n’est pas formellement démontré, soit il est insuffisamment cliniquement pertinent pour justifier d’accepter de perdre autant en efficacité que ce que laisse possible la démonstration de non infériorité.

Au total le nouveau traitement ne démontre pas qu’il représente un progrès thérapeutique par rapport au comparateur utilisé dans l’essai. Tout au plus, ce résultat permet d’établir que le nouveau traitement à une efficacité suffisante (par un raisonnement de type placebo putatif), mais cela est insuffisant pour justifier l’utilisation du traitement en 1er intention à la place du traitement de référence et cela permet seulement d’en faire une alternative de 2ème intention (en cas d’intolérance au traitement de référence par exemple). <<< faire une fiche placebo putatif et essai d’efficacité suffisante>>> Exemple : RELY 110 ou ROCKET

Voir aussi non infériorité

18. Non infériorité suggéré mais non formellement démontré

Le résultat suggère une non-infériorité (la borne péjorative de l’intervalle de confiance est inférieure à la limite de non infériorité fixée au protocole) mais ce résultat ne peut pas être considéré comme formellement démontré car il n’est pas possible d’exclure qu’il puisse être faussement positif dû au hasard et/ou à un biais (cf. les réserve(s) émise(s)).

Compte tenu de ces réserves sur la validité interne du résultat, sa pertinence clinique n’a pas été évaluée.

Pour pouvoir écarter la possibilité qu’un résultat suggère faussement la non infériorité il faut :

  • Pouvoir écarter une multiplicité de la recherche de non infériorité (résultat non obtenu sur un critère de jugement principal, résultat de sous groupe, d’analyse intermédiaire non protégée, switch d’hypothèse de la supériorité vers la non infériorité, formulation post-hoc d’hypothèse, etc…)
  • Pouvoir écarter un biais de sélection, de suivi et de mesure.
  • Pouvoir écarter un biais vers l’absence d’effet, c'est-à-dire une situation où, même en cas de réelle différence entre les 2 traitements comparés, le résultat ne montrera pas de différence. Il sera biaisé vers l’absence d’effet (0 pour une différence ou 1 pour un risque relatif). Ce biais peut survenir quand l’essai n’a aucun pouvoir discriminant entre les 2 groupes : patients non malades ou à très faible risque, analyse en intention de traiter, remplacement des données manquantes sur le critère de jugement par une méthode conservatrice, utilisation d’une mesure peu sensible ou peu spécifique du critère de jugement, etc.

Les mécanismes de biais dans un essai de non infériorité sont mes mêmes que ceux dans les essais de supériorité. Pour rendre un traitement en réalité inférieur simplement non inférieur il faut que les biais induisent une surestimation de l'effet du nouveau par rapport au standard comme pour biaisé un essai de supériorité, c'est à dire transformer l'absence d'effet en supériorité. Ainsi tout les mécanismes de biais discutés pour l'essai de supériorité s'appliquent sans changement à l'essai de non infériorité, sauf pour le biais d'attrition.

Un biais vers l’absence d’effet survient dans un essai lorsque l’essai a une faible aptitude à mettre en évidence une différence réelle. L’essai n’a pas de « sensibilité » pour détecter les différences et va donc conduire à un résultat biaisé vers l’absence de différence. Cela survient par exemple quand l’essai mesure le critère de jugement avec une très faible spécificité engendrant de nombreux faux positifs dans les 2 groupes et in fine à une même fréquence du critère de jugement entre les 2 groupes comparés, quel que soit la réelle différence d'efficacité entre les 2 traitements.

Pour détecter cette absence de sensibilité d’un essai de non infériorité, il conviendrait d’avoir un 3ème groupe, recevant un placebo. Ce groupe permettrait de valider l’aptitude de l’essai à mettre en évidence des différences en montrant que l’on retrouve la différence attendue entre le traitement standard et le placebo (obtenue dans l’essai antérieur validant le traitement de référence utilisé dans l’essai de non-infériorité). Cependant ce troisième groupe n’est pas toujours possible (il entraîne une perte de chance pour les patients si le traitement standard a démontré qu’il apportait un bénéfice clinique substantiel) et il ne sera possible d’écarter ce biais que si le résultat a été obtenu dans les circonstances suivantes :

  • Analyse en per protocole
  • Mesure du critère de jugement optimale
  • Absence de remplacement des données manquantes si elles sont en faible nombre; ou remplacement par une méthode inflationniste (biais maximum inversé par exemple)
  • Patients à risque notoire
  • Absence d’utilisation de traitements concomitants efficaces dans les 2 groupes

(cf. fiche concept non infériorité)

19. Données non matures

bla bla

(cf. fiche concept analyses intermédiaires)

× ATTENTION - Ce site est un prototype proposé uniquement comme démonstrateur du concept. Ce document est un brouillon inachevé présent uniquement pour tester la cohérence technique du prototype. Merci de votre compréhension.