Une discussion intéressante (enfin !) sur Twitter 24 septembre 2020
Par Thierry Klein dans : Covid-19.Lu 3 141 fois | trackback
Au début du confinement, j’ai ouvert un compte perso « pour voir » sur Twitter. Les discussions Twitter sont, en règle générale, incroyablement peu intéressantes (90% des gens en ont conscience et donc se masquent derrière un pseudo) et incroyablement addictives (sans doute à cause du format court des tweets, qui entraine des échanges sans fin).
J’ai eu ma première conversation intéressante le week-end dernier, et elle a tourné autour d’une étude réalisée à l’IHU Marseille sur le traitement hydroxychloroquine (HCQ) / Azithromycine (AZI), traitement dont j’ai beaucoup parlé dans ce blog. La discussion touche à des problèmes de fond sur la méthodologie des études, la façon dont on doit analyser cette méthodologie et la façon dont se crée l’opinion. Raisons pour lesquelles j’en parle ici.
Dans cette étude (lien), 3737 patients ont été traités selon le schéma ci-dessous. Le point discuté sur Twitter concerne les 218 patients qui ont reçu HCQ moins de 3 jours.
Pourquoi les auteurs font-ils un groupe séparé avec ces 218 patients ? Parce que HCQ est un médicament réputé pour ne pas pouvoir agir en moins de 3 jours. Les patients ayant reçu HCQ pendant moins de 3 jours n’ont donc pas pu, selon les auteurs, bénéficier du moindre effet positif lié à ce soin. Par ailleurs, ces patients pèsent beaucoup (négativement) sur les statistiques de guérison. En effet, si le traitement HCQ a été interrompu, c’est soit que les patients sont morts, soit que leur état s’est aggravé et que le médecin a estimé que HCQ devenait contre-productif (HCQ semble effectivement devenir contre-indiqué lorsque le COVID franchit un certain stade), soit qu’une comorbité quelconque est apparue. De fait, le % d’hospitalisation de ces patients est 3 fois plus élevé que dans le groupe ayant reçu le traitement de base.
Dans leur traitement statistique, les auteurs ont alors comparé le groupe de test (3119 patients traités avec HCQ + AZI) aux autres groupes (parmi lesquels les 218 patients traités moins de 3 jours). Ceci a généré une levée de boucliers dont Twitter est friand. Les principales accusations envers les auteurs (autrement dit Raoult) sont la fraude, l’incompétence.
Pour ma part, j’avais rapidement lu cette étude lors de sa sortie et cela ne m’avait pas choqué. J’avais effectivement pensé que la méthode était certes optimiste, mais qu’on ne pouvait cependant pas imputer au débit d’un traitement qui n’agit qu’après 3 jours les conséquences cliniques négatives constatées sur des gens qui ne l’ont reçu que moins de 3 jours. Pour pouvoir raisonner ainsi, il faut évidemment supposer que le traitement est aussi sans danger – ce que les auteurs supposaient à l’époque et ce qui a largement été confirmé depuis lors.
Mais lors des discussions, ce qui était reproché à Raoult n’était pas seulement d’avoir « séparé » ce groupe critique du groupe de traitement dans les calculs, mais de l’avoir, « en plus » reversé dans le groupe « other treatments » sans avoir « fait de même » dans le groupe « others treatments »
(A noter que je ne sais pas très bien ce que signifie « faire de même » dans le groupe « others ». Je pense que Pierre Prot, l’auteur du tweet veut dire qu’il enlèverait du groupe « others » tous les événements négatifs (hospitalisation et décès) observés durant les 3 premiers jours. Mais un tel retraitement ne serait pas « faire de même ». En effet, les patients ôtés du groupe HCQ/AZI > 3 jours n’ont pas tous été hospitalisés (seuls 40% l’ont été) et encore moins hospitalisés dans les 3 premiers jours. Pierre Prot cherche donc à rétablir une sorte d’équilibre, de « justice », mais échoue à le faire.)
Et là, Pierre Prot m’envoie cet exemple, que je trouve très intéressant, pour montrer que la méthode utilisée est « pourrie » (et frauduleuse selon lui). Dans le traitement ci-dessous, HCQ et Placebo ont exactement les mêmes résultats, pourtant avec la méthode appliquée par les auteurs de l’IHU, on conclut à la supériorité de HCQ > 3 j
Thibaut m’indique, à juste titre, qu’avec cette méthode, on peut prouver l’importe quoi.
Pierre en rajoute et m’envoie un dernier argument qui ne manque pas de sens:
Ca montre bien sûr, en plus, ma nullité et même mon aveuglement volontaire. Tous ceux qui pensent (1) que HCQ fonctionne ont un jour ou l’autre ont été traités de croyants désespérés, recherchant à tout prix le réconfort dans un espoir illusoire, sur Twitter. C’est un argument qui rassure celui qui le tient sur son objectivité sans faille, sa grande capacité à affronter lucidement le malheur.
Et finalement, Lebon confirme cette position.
Et Lebon, pour moi, est vraiment un bon. Au début, quand il donnait des infos ou communiquait des analyses, je les vérifiais, mais après avoir vérifié une dizaine de fois, j’ai arrêté. Lebon est beaucoup plus compétent que moi et va beaucoup plus loin dans l’analyse statistique des études, donc je lui fais confiance.
Et donc j’étais quasi-convaincu à ce moment que le traitement était illégitime. Je l’aurais probablement admis, dans un grand moment de solitude, si j’avais été sur un plateau télé, mais là, c’était Twitter, il était tard et je suis parti me coucher, suivant pour une fois le sage (mais intéressé) conseil que me donnait Pierre Prot.
J’y ai repensé le lendemain, et encore ce soir, et je pense que finalement j’ai raison dans cette discussion. Je voudrais m’en servir pour expliquer l’angle qu’il faut avoir quand, non spécialiste d’un domaine, on essaie de comprendre l’approche qu’a pu avoir un spécialiste. Il y a 3 principes à mon avis fondamentaux à respecter :
- essayer de comprendre la logique du spécialiste, se mettre à sa place
- réfléchir avec bienveillance, ne pas supposer le spécialiste fraudeur
- réfléchir avec confiance, ne pas supposer le spécialiste mauvais
Ces principes sont à l’exact opposé de ce que le mouvement « pro-science » (je mets ce terme entre guillemets car je suis moi-même profondément pro-science, mais totalement opposé à ce mouvement, qui se nomme aussi #noFakeMed sur Twitter) applique. Pour les #noFakeMeds:
- Raoult ne respecte pas la sacro-sainte méthodologie et c’est inadmissible (alors que la bonne attitude est d’essayer de comprendre pourquoi il ne la respecte pas, cette dernière question est nettement plus fructueuse, voir ci-dessous)
- Raoult est un fraudeur a priori
- Il est mauvais et donc on ne lui reconnaît aucune autorité
La logique de cette étude
La priorité de Raoult est médicale. Raoult a mis en place un protocole de soin et décrit principalement la gestion clinique des patients, le but ayant été d’en sauver le plus possible. La priorité n’était pas de rapporter des données, mais de sauver des patients. Les données issues de l’étude viennent en plus, « par surcroît ». Cette logique est totalement différente d’une étude randomisée avec placebo, par exemple, où le but est d’obtenir une preuve fiable, même si cela occasionne des événements négatifs, pouvant aller jusqu’à la mort, pour certains patients.
Il faut imaginer les médecins de l’IHU prescrivant a priori à tous les malades possibles leur traitement « de référence » (HCQ / AZI) et n’excluant que les malades pour lesquels ce traitement était contre-indiqué. En parallèle sont récoltées les données, qui ne sont pas le but principal de l’opération. Le but principal est le soin. Puis on regardera les données.
Imaginons alors qu’un médecin regarde les données obtenues après coup et imaginons de plus que ce médecin n’appartienne pas à l’IHU et dispose d’un testeur miracle, lui permettant de voir si le malade a reçu de l’HCQ pendant plus de 3 jours ou pas (je rappelle qu’on suppose que HCQ pendant une durée < 3 j n’a absolument aucun effet thérapeutique). Ce médecin est tout à fait fondé à séparer des autres tous les malades ayant reçu le traitement plus de 3 jours, du fait qu’il aura un point de vue rétrospectif. Peu lui importe pourquoi tel ou tel malade n’a pas reçu le traitement, le fait est qu’il ne l’a pas reçu. Et justement, on nous indique dès le départ que cette étude est une étude rétrospective, les termes n’ont pas été choisis au hasard.
S’il s’agissait d’un essai clinique (par exemple double aveugle randomisé), il serait bien sûr absolument injustifiable de définir de tels groupes et de les changer « en cours de route ». Mais ici, le but des auteurs est simplement de décrire leur protocole de soin de façon rétrospective. Les conclusions de l’étude ne font d’ailleurs qu’une place très réduite à l’HCQ, et aucune statistique n’est donnée; c’est avant tout le protocole de soin complet qu’on a cherché à valider.
La perversité médicale d’un retraitement différent
Le but de ce traitement statistique n’est donc pas de fournir une donnée dont on pourrait se servir pour quantifier le taux de mortalité un d’hospitalisation d’un échantillon de personnes traitées à l’HCQ / AZI. A aucun moment les auteurs ne prétendent calculer ceci. S’ils avaient procédé autrement, en cherchant à optimiser la performance statistique du traitement sans ce retraitement, les effets auraient été potentiellement pervers pour les malades. En effet, les médecins auraient pu avoir tendance à exclure certains patients « par précaution ». Ainsi, peut-être y a-t-il eu 500 patients « tangents » (auxquels on hésitait à donner le traitement ), dont 218 finalement exclus. Mais les 282 qui restent ont eu accès au traitement. Alors que si on avait dit aux médecins que cela aurait un impact négatif sur les statistiques de l’étude, ils auraient peut être exclu 500 patients. Et eu plus de morts sur la série totale.
La fraude des auteurs
Et donc, non seulement je ne suppose pas la fraude, mais le traitement statistique proposé ne me paraît pas illégitime. Au contraire, il y a un grand bon sens à avoir procédé ainsi mais il s’agit d’un bon sens médical, qui sauve des vies, qui n’a rien à voir avec le « bon sens » un peu fou des partisans de l’essai randomisé en double aveugle qui tue des patients, avec l’espoir très incertain d’en sauver ensuite. La discussion à laquelle j’ai participé sur Twitter n’est qu’un symptôme de plus du délire méthodologique et de l’importance prise par les essais randomisés: même quand on est en dehors de ce cadre, on tend à appliquer aux études le traitement « standard ».
Raoult est-il un mauvais ?
Pour que cette analyse ait le moindre sens il faut quand même admettre au moins 2 choses:
- HCQ / AZI ne présente aucun danger dans le cadre médical où il a été prescrit
- HCQ a besoin d’être donné au moins 3 jours pour avoir le moindre effet
Le point 1 a fait l’objet d’une désinformation énorme depuis mars puisque tous les #noFakeMeds ont cru – et fait croire – que HCQ était un médicament dangereux. Ce faisant, ils ont gravement nui toutes les études ayant confirmé l’innocuité du traitement Raoult avec le suivi qu’il a préconisé. Critique qui, sauf à être meilleur que lui en la matière, manquait totalement de bon sens, compte tenu de l’expérience de Raoult avec l’HCQ. Il faut reconnaître l’autorité quand elle existe, c’est un gain de temps.
Et donc pour les mêmes raisons, je fais confiance sur le point 2. Non pas aveuglément, mais jusqu’à avoir la preuve du contraire, je ne vais pas chercher à critiquer Raoult sur ce point. Pour le faire, je dois être spécialiste or je ne le suis pas.
Pour conclure ce papier assez long, je tiens à signaler que tout ce travail a sans doute été fait presqu’instinctivement, très rapidement par les auteurs, qui ont l’habitude de publier de telles études. C’est simplement le fait de « redécouvrir les principes » qui demande un peu de réflexion. Je comprends que les auteurs en aient marre de devoir expliquer leurs positions à des non spécialistes, qui ne font aucun effort pour les comprendre, les prennent pour des fraudeurs et des mauvais – alors que leur niveau est nettement inférieur aux leurs. En fait, les auteurs doivent être stupéfaits des réactions que leurs papiers engendrent.
Quand aux #noFakeMeds, ils mettront tout ce billet sur le compte de mon endoctrinement et de mon refus d’ouvrir les yeux.
(ajout) Une petite expérience sophiste
Pour finir une petite expérience.
Sur un cercle de 10 m de périmètre, 200 conducteurs malades au départ (parce qu’ils sont un temps de réaction de 2 seconde, alors qu’un conducteur sain à un temps de réaction de 1 s) roulent à 1 m/s. 100 ont été traités avec du placebo (P), 100 avec un traitement ayant une efficacité de 100% (S). La distance de freinage nécessaire pour qu’une voiture s’arrête ) partir du moment où le conducteur freine est de 0,5 m, la vitesse de la voiture étant constante jusqu’au dernier moment.
A un moment, un mur jaillit et leur coupe la route. Tous ceux qui touchent le mur meurent. On compte les morts.
T = 1 s P = 10 S=10
T=2 s P=10 S=5
T=3 s P=5 S=0
Si je décide d’enlever la ligne 1, le traitement semble deux fois plus efficace que le Placebo. En réalité, par hypothèse, le traitement est efficace à 100%.
Or d’après
Donc la méthode de Pierre Prot est viciée.
(1) Aujourd’hui, on peut dire « tout ceux qui savent ». Les études confirmant l’efficacité des traitements HCQ, complétés par AZI et/ou Zn, donnés au plus tôt, à un stade modéré de la maladie tombent presque chaque jour.
Billets associés :
Commentaires»
no comments yet - be the first?