Le double insu

Ce résultat est issu d’un essai qui n’est pas en double insu. De ce fait, il n’est pas possible d’exclure que ce résultat puisse être un faux positif dû à un biais de suivi ou à un biais de mesure. Compte tenu de la possibilité d’un tel biais, un résultat issu d’un essai sans double insu n’apporte donc pas d’éléments de preuve de l’intérêt thérapeutique du traitement évalué. L’importance du biais des essais en ouvert L’importance de ce point et les dangers encourus en acceptant de conclure à l’intérêt thérapeutique à partir d’essais sans double insu (essai en ouvert) sont maintenant bien illustrés par de nombreux exemples où un essai en double insu n’a pas retrouvé les résultats d’un essai en ouvert antérieur (cf. tableau). Exemples de discordances entre essais en ouvert et en double aveugle

1. Études de méta-épidémiologie

Plusieurs études de méta-épidémiologie ont aussi comparées les résultats données par les essais en ouvert et les essais en double aveugle. Une méta-analyse de ces études [ref] montre que le rapport moyen des odds ratio des essais non en double insu par rapport aux essais en double insu est de 0.86 (IC 95% entre 0.74 et 0.99) montant ainsi une surestimation, en moyenne, tous domaines confondus, de 14% de l’effet des traitements par les essais sans double insu. En d’autres termes, le résultat attendu de l’évaluation d’un traitement sans effet par un essai en ouvert est un odds ratio de 0.86. Très souvent les tailles d’effet donnés par des essais de ce type sont justement des risque relatif de l’ordre entre 0.80 – 0.90, soit du mettre ordre de grandeur que le biais attendu. Une autre étude [ref] ??? Récemment un travail de synthèse de tous ces travaux a été réalisé [ref]. ???

Ces données empiriques rendent impossible, maintenant, l’acceptation des résultats d’un essai en ouvert. Les essais doivent être réalisé en double insu, sauf situation exceptionnelle, même si la réalisation du double insu est compliquée et coûteuse. L’enjeu est la crédibilité des résultats. Ainsi, le double insu a été réalisé dans des situations comme, par exemple, la comparaison d’un nouvel anti-coagulant ne nécessitant pas d’ajustement biologique de la dose à la warfarine ajustée sur l’INR. Ce double insu nécessite l’utilisation d’un double placebo et la réalisation d’INR factice dans le groupe expérimental afin d’ajuster sans raison le placebo de warfarine administré à ce groupe. Des essais en double insu ont aussi été réalisés en chirurgie cardiaque (ref ???), pour la greffe de cellules souches dans le Parkinson [ref], etc. et deviennent un standard pour l’évaluation des dispositifs médicaux (ou le placebo devient une « sham intervention »). Réalisation du double aveugle impossible Dans certain cas la réalisation d’un essai en double aveugle est vraiment impossible. Dans ce cas, aucun essai ne sera à l’abri des biais de suivi et de mesure et dons aucun essai ne pourra démontrer formellement l’efficacité du traitement. Ces situations font donc partie des situations où la décision doit être prise en l’absence d’éléments de preuve fiable. Design PROBE ??.

2. Rappels - Biais de suivi et biais de mesure

Un biais de suivi survient lorsqu’il existe une différence entre les 2 groupes au niveau du suivi des patients, par exemple, en termes de traitements concomitants. Si le groupe expérimental reçoit plus de traitements concomitants efficaces que le groupe contrôle, cela entraînera une différence entre les 2 groupes indépendamment de l’efficacité du traitement. Un biais de mesure survient quand on ne mesure pas de la même façon le critère de jugement entre les 2 groupes, par exemple, avec une recherche plus sensible des événements critères de jugement dans le groupe expérimental que dans le groupe contrôle. Même en l’absence d’effet du traitement, la fréquence des éventements sera inférieure dans le groupe expérimental puisqu’ils seront moins bien détectée (sensibilité plus faible). Le double aveugle est le principe méthodologique qui empêche la survenu d’un biais de suivi et d’un de mesure. En rendant vraiment indistinguables les 2 groupes, le double aveugle empêche la survenue d’une différence systématique dans le suivi des patients ou dans la mesure du critère de jugement. Par exemple, si des traitements concomitants efficaces sont donnés durant le suivi, ils le seront avec la même fréquence dans les 2 groupes. Au pire, cela conduira à masquer l’effet du traitement étudié et à créer un résultat faussement négatif si le traitement est efficace, mais cela ne conduira jamais à la production d’un résultat faussement positif. Comme ce sont les biais conduisant à des résultats faux positifs qui sont redoutés et qui sont les seuls considérés en lecture critique (cf. fiche concept ???), le double aveugle mets donc l’essai à l’abri des biais. La réalisation d’un véritable double aveugle nécessite que le groupe auquel appartient un patient ne soit pas connu : ni par le patient lui-même, ni par le médecin qui suit le patients, ni par la personne qui évaluera le critère de jugement.

Un essai biaisé est identique à un appareil de mesure, qui à l’état de base (à l’arrêt) donnerait un résultat erroné positif en faveur du groupe expérimental (en terme de métrologie on dit qu’il y a une erreur de zéro, ou que le zéro est décalé). C’est un appareil de mesure qui même lorsque l’on ne lui donne rien à mesurer donne un résultat positif. Ainsi, si l’on compare à un placebo au placebo à l’aide d’un essai biaisé, on obtiendra une différence en faveur du groupe expérimental. En pratique, quand on obtient une différence entre les 2 groupes avec un essai biaisé il est impossible de conclure car il est impossible de faire la part des choses entre le biais ou un réel effet du traitement. Absence de double aveugle dans l’essai de non infériorité

3. Références

Noseworthy JH, Ebers GC, Vandervoort MK, Farquhar RE, Yetisir E, Roberts R. The impact of blinding on the results of a randomized, placebo-controlled multiple sclerosis clinical trial. Neurology. 1993;44(1):16–20.

Juni P, Altman DG, Egger M. Systematic reviews in health care: Assessing the quality of controlled clinical trials. BMJ. 2001;323(7303):42–46

Wood LL, Egger MM, Gluud LLL, Schulz KFK, Jüni PP, Altman DGD, et al. Empirical evidence of bias in treatment effect estimates in controlled trials with different interventions and outcomes: meta-epidemiological study. BMJ. 2008 Mar 14;336(7644):601–5.

Freed CR, Greene PE, Breeze RE, Tsai WY, DuMouchel W, Kao R, et al. Transplantation of embryonic dopamine neurons for severe Parkinson's disease. N Engl J Med. 2001;344(10):710–9.

Savović J, Jones H, Altman D, Harris R, Juni P, Pildal J, et al. Influence of reported study design characteristics on intervention effect estimates from randomised controlled trials: combined analysis of meta-epidemiological studies. Health technology assessment (Winchester, England). 2012 Aug 31;16(35):1–82.

Mariette X, Brouet JC, Chevret S, Leger JM, Clavelou P, Pouget J, et al. A randomised double blind trial versus placebo does not confirm the benefit of alpha-interferon in polyneuropathy associated with monoclonal IgM. J Neurol Neurosurg Psychiatr. 2000 Aug;69(2):279–80.

4. aaaaaaaaa

L’utilisation d’un groupe contrôle est donc indispensable pour prendre en compte les facteurs de confusion et éviter le biais de confusion, mais cela n’est pas suffisant pour éviter tous les biais. D’autres précautions doivent être prises.

5. Le biais de sélection

Nous avons vu que l’effet du traitement se déduisait de la différence existant au niveau du critère de jugement à la fin de l’essai entre le groupe recevant le traitement étudié et le groupe contrôle. Une condition évidente pour que la différence entre les deux groupes représente uniquement l’effet du traitement est que les deux groupes soient comparables avant application du traitement. S’ils ne le sont pas, la différence initiale (en quelque sorte constitutionnelle) va se retrouver à la fin de l’essai (Figure 7). Dans ce cas, une différence constatée à la fin de l’essai pourrait n’être que la répercussion de la différence initiale et non pas l’effet du traitement.

Figure 7 – Si les deux groupes n'ont pas initialement la même cholestérolémie moyenne, la différence observée après traitement peut être simplement la répercussion de la différence initiale, et ne pas être due à l'effet du traitement. Pour pouvoir, à coup sûr, mettre la différence finale sur le compte de l'effet du traitement, il est impératif qu'il n'y ait pas de différence initiale entre les deux groupes. C’est-à-dire que les deux groupes soient strictement identiques au début de l'essai Le biais introduit par l’utilisation de groupes dissemblables initialement est appelé biais de sélection. Il y a risque de biais de sélection chaque fois qu’il existe une différence initiale dans la répartition, entre les groupes comparés, d’un facteur qui conditionne la valeur du critère de jugement (cf. aussi la figure 4). Dans l’exemple de l’hypocholestérolémiant, on pourrait imaginer écarter la possibilité d’un biais en corrigeant la différence finale de la différence initiale. Par exemple, s’il existe en début d’essai une différence de 0,3 mmol/L entre les deux groupes et après traitement une différence de 0,5 mmol/l, la différence 0,5 – 0,3 pourrait être avancée comme effet propre du traitement. Cette correction donne l’effet traitement réel que si la cholestérolémie évolue parallèlement dans les deux groupes sous l’effet des facteurs de confusion. Rien ne le garantit car les patients de ces deux groupes, en plus de différer par leur valeur initiale, peuvent aussi différer au niveau de la façon dont agiront les facteurs de confusion. Les scénarios imaginables sont nombreux. Par exemple le niveau initial pourrait influencer l’évolution naturelle de la cholestérolémie ou l’importance de l’effet placebo. La régression à la moyenne est d’autant plus importante que la moyenne initiale du groupe est élevée. À partir du moment où les deux groupes ne sont pas initialement comparables, plus rien ne garantit que ces deux groupes auraient évolués de façon parallèle. La correction du résultat final de la différence initiale ne supprime donc pas toutes les causes de biais liées à une dissimilitude initiale des groupes. L’utilisation de deux groupes non comparables perturbe la mesure de l’effet traitement et introduit potentiellement un biais. Au maximum l’utilisation de deux groupes non comparables initialement est susceptible de faire croire à un effet du traitement qui n’existe pas ou, à l’opposé, de faire disparaître un réel effet.

6. Les mauvais groupes contrôles

6.1. Contrôles historiques

Un groupe de patients recevant un nouveau traitement peut être comparé au groupe des patients qui, par exemple, durant l'année précédant l'introduction du nouveau traitement ont été traités avec l'ancien traitement. Ce groupe contrôle, appelé contrôle historique, ne remplit pas les conditions pour être un groupe acceptable : • rien ne garantit que les anciens patients soient comparables aux nouveaux, le recrutement du service a pu évoluer au cours du temps, • les autres traitements concomitants ont aussi évolués. Un meilleur résultat obtenu avec les nouveaux patients signifie peut-être tout simplement que la prise en charge des patients s'est améliorée, sans que le nouveau traitement soit meilleur que le précédent. Une caractéristique importante d'un groupe contrôle est qu'il doit être constitué de patients contemporains aux patients inclus dans le groupe traité.

6.2. Contrôle géographique

Les contrôles géographiques sont constitués de patients traités dans un service hospitalier A par le traitement standard, auxquels on compare les patients du service B traités par le nouveau traitement. Cette comparaison est potentiellement biaisée car rien ne garantit que les patients recrutés dans ces deux services soient similaires et pris en charge de la même manière. Ces deux types de groupes contrôles sont de mauvais groupes contrôles. Ils peuvent différer du groupe traité par de nombreux points autres que le traitement étudié. Ils ne garantissent pas l'absence de biais de sélection

6.3. Comment assurer la comparabilité initiale des deux groupes ?

Pour éviter un biais de sélection, la nature du traitement que reçoit un patient ne doit dépendre d'aucun facteur susceptible d'influencer le résultat. Ainsi, l’allocation du traitement ne doit dépendre ni de la gravité de la maladie, ni des caractéristiques du patient, ni du contexte des soins donnés au patient. Seule une attribution au hasard peut garantir la totale indépendance de la nature du traitement donné vis-à-vis de ces facteurs. Autrement, si un traitement est donné plus spécifiquement à des patients d'un certain type, les groupes ne seront plus comparables et il y aura biais. Pour obtenir cette indépendance les traitements sont attribués aléatoirement aux patients. Ainsi, chaque patient, quelles que soient ses caractéristiques, a la même probabilité de recevoir un traitement ou l’autre. Sur un grand nombre de patients, cette allocation aléatoire assure l’équilibre de toutes les caractéristiques des patients entre les deux groupes. La randomisation crée deux groupes de patients comparables en moyenne. Cette allocation aléatoire des traitements est couramment appelée randomisation (« randomization »). Un essai contrôlé randomisé est donc un essai dans lequel les patients sont répartis entre le groupe contrôle et le groupe expérimental de manière aléatoire. Comme la randomisation est un processus aléatoire et que les propriétés des processus aléatoires ne sont connues qu'en moyenne sur un grand nombre de répétitions, la randomisation ne garantit la comparabilité de deux groupes qu'en moyenne.

7. La randomisation en pratique

L’allocation aléatoire des traitements ne s’effectue pas à l’aide de dés, ni en tirant un papier d’un chapeau au moment d’inclure un patient. Dans les essais en double aveugle, les moyens de randomisation donnent le numéro de la boite de traitement à délivrer au patient. Cette boite contient soit le traitement étudié soit le traitement contrôle. La correspondance entre numéro de traitement et nature réelle du traitement est consignée dans une liste qui ne sera utilisée qu’au moment de l’analyse statistique. Dans les essais en ouvert, le moyen de randomisation donne la nature du traitement en clair. Le moyen de randomisation le plus simple est la liste constituée à l’avance à l’aide d’un programme informatique ou de tables de nombres au hasard. Cette liste donne pour chaque patient inclus successivement dans l’essai le numéro de la boite ou la nature du traitement. Dans les essais multicentriques, une liste est disponible dans chaque centre. La randomisation peut aussi s’effectuer à l’aide d’enveloppes scellées qui renferment le numéro ou la nature du traitement à donner au patient que l’on randomise. Ces deux moyens de randomisation présentent l’inconvénient d’être délocalisés dans chaque centre et de permettre la prise de connaissance anticipée de la nature du traitement que devrait recevoir le ou les prochains patients. Il devient alors possible d’arranger le moment ou un patient sera inclus afin qu’il reçoive le traitement souhaité.

Figure 8 – La randomisation crée deux groupes initialement comparables. L'un de ces groupes recevra le traitement étudié, l'autre non. Ainsi durant l'essai, ces deux groupes ne différeront que par un seul facteur : le traitement. Si à la fin de l'essai une différence est notée entre les deux groupes, elle ne pourra pas provenir d'une différence initiale. Cette différence sera due en fait à la seule différence qui existe entre les groupes : la nature du traitement qu'ils reçoivent.

Seule une procédure centralisée de randomisation garantit suffisamment son imprévisibilité. Les randomisations centralisées évitent ce problème. Le numéro ou la nature de traitement est obtenu par appel d’un centre de randomisation et après enregistrement du patient en train d’être inclus dans l’essai. Différents moyens de communication sont utilisables : téléphone, fax, Minitel en France, Internet, etc. Imprévisibilité de la randomisation Pour être la plus efficace possible, la randomisation doit être imprévisible 1, 2. Autrement, il existe un risque de biais de sélection. Par exemple, si la nature du traitement que recevra le prochain patient est prévisible, l'investigateur a la possibilité de retarder le moment de l'inclusion d'un patient jusqu'à ce qu'il reçoive le traitement que consciemment ou inconsciemment il souhaite pour lui. Les listes ou les enveloppes donnant en clair la nature du traitement exposent à ce genre de problème. Un investigateur participe à un essai d'un nouvel antihypertenseur. L'inclusion se fait en fonction d'une liste donnant en clair la nature du traitement à administrer. Ce médecin voit en consultation Monsieur Dupont qui présente une HTA sévère. Sachant que s'il incluait maintenant M Dupont, celui-ci recevrait le traitement standard qu'il considère comme moins efficace, ce médecin va retarder l'inclusion de M Dupont. En faisant cela, cet investigateur n'a pas la volonté de tricher, mais il privilégie "l'intérêt" de son patient au détriment de l'essai. Ainsi biaisé, cet essai ne permettra pas de savoir si l’intuition de ce médecin était bonne ! et même donnera un résultat forcément en défaveur du nouveau traitement. L'inclusion centralisée d'évite qu'un patient n'ayant pas reçu le traitement souhaité ou ayant présenté un événement précoce ne soit "sorti de l'étude" en ne laissant aucune trace. La sortie de l'étude d'un patient en raison du traitement alloué entraîne un biais de sélection. Les sorties de l'étude dépendant de toutes autres raisons (événements cliniques, effets indésirables, etc.) font courir le risque d'un biais de suivi. Avec l'inclusion centralisée, tout patient inclus, quel que soit son devenir dans l'étude est connu. Ce procédé permet de détecter la possibilité du biais même s'il ne permet pas de l'éviter. En effet, si le critère de jugement est indisponible pour les patients "sortis de l'étude", l'analyse en intention de traiter ne sera pas possible. Seule l'analyse en per-protocole qui est potentiellement biaisée est réalisable.

8. Les mauvaises « randomisations »

Différents moyens qui ne sont pas basés sur un tirage au sort sont parfois utilisés comme procédés de randomisation. Parmi ceux-ci figure l'attribution du traitement en fonction de la date. Le traitement A est donné les jours pairs et le contrôle les jours impairs. Cette façon de procéder est inacceptable comme randomisation car le groupe est entièrement prévisible et autorise l'apparition d'un biais de sélection. L'attribution du traitement en fonction de la date de naissance, du numéro de dossier, etc. possède les mêmes inconvénients. La nature du traitement ne doit pas non plus être déterminée en fonction du médecin qui prend en charge le patient ou par le service où le patient est hospitalisé. Il est fort probable que les recrutements des médecins et/ou des services soient différents et que certains praticiens soignent des patients plus sévèrement atteints que d'autres.

9. Bibliographie

1. Schulz KF, Chalmers I, Hayes RJ, Altman DG. Empirical evidence of bias: dimensions of methodological quality associated with estimates of treatment effects in controlled trials. JAMA 1995;273:408-12. 2. Moher D. Assessing the quality of randomized controlled trials: an annoted bibliography of scales and cheklists. Controlled Clinical Trials 1995;16:62-73.

Références

Juni P, Altman DG, Egger M. Systematic reviews in health care: Assessing the quality of controlled clinical trials. BMJ. 2001;323(7303):42–6. Pubmed

Wood LL, Egger MM, Gluud LLL, Schulz KFK, Jüni PP, Altman DGD, et al. Empirical evidence of bias in treatment effect estimates in controlled trials with different interventions and outcomes: meta-epidemiological study. BMJ. 2008 Mar 14;336(7644):601–5. Pubmed

Savović J, Jones H, Altman D, Harris R, Juni P, Pildal J, et al. Influence of reported study design characteristics on intervention effect estimates from randomised controlled trials: combined analysis of meta-epidemiological studies. Health technology assessment (Winchester, England). 2012 Aug 31;16(35):1–82. Pubmed

Freed CR, Greene PE, Breeze RE, Tsai WY, DuMouchel W, Kao R, et al. Transplantation of embryonic dopamine neurons for severe Parkinson's disease. N Engl J Med. 2001;344(10):710–9. Pubmed