Este timpul să presupunem că cercetarea în domeniul sănătății este frauduloasă până la proba contrarie?

Profesioniștii din domeniul sănătății și editorii de reviste care citesc rezultatele unui studiu clinic presupun că studiul a avut loc și că rezultatele au fost raportate în mod onest. Dar în aproximativ 20% din cazuri, a declarat Ben Mol, profesor de obstetrică și ginecologie la Monash Health, aceștia s-ar înșela. Întrucât sunt preocupat de frauda în cercetare de 40 de ani, nu am fost atât de surprins ca mulți alții de această cifră, dar m-a făcut să mă gândesc că poate a sosit momentul să nu mai presupunem că cercetările au avut loc și sunt raportate în mod onest, ci să presupunem că cercetarea este frauduloasă până când există dovezi care să susțină că a avut loc și a fost raportată în mod onest. Colaborarea Cochrane, care oferă „informații de încredere”, a făcut acum un pas în această direcție.

După cum a descris într-un seminar web recent, Ian Roberts, profesor de epidemiologie la London School of Hygiene & Tropical Medicine, a început să aibă îndoieli cu privire la raportarea onestă a studiilor după ce un coleg l-a întrebat dacă știa că analiza sa sistematică care arăta că manitolul reduce la jumătate decesele cauzate de traumatisme craniene se baza pe studii care nu au avut loc niciodată. El nu știa, dar a început să investigheze studiile și a confirmat că acestea nu au avut loc niciodată. Toate aveau un autor principal care pretindea că provine de la o instituție care nu exista și care s-a sinucis câțiva ani mai târziu. Toate studiile au fost publicate în reviste prestigioase de neurochirurgie și au avut mai mulți coautori. Niciunul dintre coautori nu a contribuit cu pacienți la studii, iar unii dintre ei nu au știut că sunt coautori decât după ce studiile au fost publicate. Când Roberts a contactat una dintre reviste, editorul a răspuns că „nu aș avea încredere în aceste date”. De ce, s-a întrebat Roberts, a publicat studiul? Niciunul dintre studii nu a fost retras.

Mai târziu, Roberts, care a condus unul dintre grupurile Cochrane, a făcut o analiză sistematică a coloizilor față de cristaloizi, doar pentru a descoperi din nou că multe dintre studiile care au fost incluse în analiză nu puteau fi de încredere. În prezent, el este sceptic cu privire la toate revizuirile sistematice, în special la cele care sunt în mare parte revizuiri ale mai multor studii mici. El a comparat ideea inițială a analizelor sistematice cu căutarea diamantelor, cunoștințe care erau disponibile dacă erau reunite în analize sistematice; acum consideră că analiza sistematică este ca o căutare printre gunoaie. El a propus ca studiile mici, cu un singur centru, să fie aruncate, nu combinate în revizuiri sistematice.

Mol, la fel ca Roberts, a efectuat revizuiri sistematice doar pentru a realiza că majoritatea studiilor incluse fie erau studii zombie care aveau defecte fatale, fie nu erau demne de încredere. Care este, a întrebat el, amploarea problemei? Deși retractările sunt în creștere, doar aproximativ 0,04% din studiile biomedicale au fost retractate, ceea ce sugerează că problema este mică. Dar medicul anestezist John Carlisle a analizat 526 de studii trimise la Anaesthesia și a constatat că 73 (14%) aveau date false, iar 43 (8%) le-a catalogat drept zombi. Când a putut examina datele individuale ale pacienților din 153 de studii, 67 (44%) aveau date nesigure și 40 (26%) erau studii zombie. Multe dintre aceste studii proveneau din aceleași țări (Egipt, China, India, Iran, Japonia, Coreea de Sud și Turcia), iar când John Ioannidis, profesor la Universitatea Stanford, a examinat datele individuale ale pacienților din studiile trimise din aceste țări către Anaesthesia pe parcursul unui an, a constatat că multe dintre ele erau false: 100% (7/7) în Egipt; 75% (3/4) în Iran; 54% (7/13) în India; 46% (22/48) în China; 40% (2/5) în Turcia; 25% (5/20) în Coreea de Sud; și 18% (2/11) în Japonia. Cele mai multe dintre studii au fost zombi. Ioannidis a concluzionat că există sute de mii de trialuri cu zombi publicate numai din aceste țări.

Alții au găsit rezultate similare, iar cea mai bună estimare a lui Mol este că aproximativ 20% dintre trialuri sunt false. Foarte puține dintre aceste lucrări sunt retractate.

Știm de mult timp că evaluarea inter pares este ineficientă în detectarea fraudei, mai ales dacă evaluatorii încep, așa cum au făcut majoritatea până acum, prin a presupune că cercetarea este raportată în mod onest. Îmi amintesc că am făcut parte dintr-un grup de experți în anii 1990, care a investigat unul dintre cele mai scandaloase cazuri de fraudă din Marea Britanie, când evaluatorul statistic al studiului ne-a spus că a găsit multiple probleme cu studiul și că spera doar că acesta a fost mai bine realizat decât a fost raportat. L-am întrebat dacă s-a gândit vreodată că studiul ar putea fi fraudulos, iar el ne-a spus că nu.

Am ajuns acum la un punct în care cei care fac analize sistematice este nevoie să înceapă prin a presupune că un studiu este fraudulos până când pot avea unele dovezi care să demonstreze contrariul. Unele dovezi provin din faptul că studiul a fost înregistrat și a avut aprobarea comitetului de etică. Andrew Grey, profesor asociat de medicină la Universitatea din Auckland, și alții au elaborat o listă de verificare cu aproximativ 40 de elemente care pot fi utilizate ca instrument de depistare a fraudei (puteți vizualiza lista de verificare aici). Lista de verificare REAPPRAISED (Guvernanță în cercetare, Etică, Autori, Plagiat, Conduita de cercetare, Analize și metode, Manipulare de imagini, Statistică, Erori, Manipulare și raportare de date) acoperă aspecte precum „supravegherea etică și finanțarea, productivitatea cercetării și volumul de muncă al investigatorului, validitatea randomizării, plauzibilitatea rezultatelor și raportarea datelor duplicat”. Lista de verificare a fost utilizată pentru a detecta studiile care au fost ulterior retractate, dar nu a fost supusă evaluării complete la care v-ați aștepta pentru un instrument de screening clinic. (Dar merită să-i felicit pe autori pentru un acronim inteligent: unii spun că a visa acronimul pentru un studiu este cea mai dificilă parte a întregului proces).

Roberts și alții au scris despre problema numeroaselor studii necorespunzătoare și zombie în The BMJ acum șase ani, cu un titlu provocator: „Sistemul de cunoștințe care se află la baza asistenței medicale nu este adecvat scopului și este necesar să se transforme”. Ei doreau ca Cochrane Collaboration și oricine realizează analize sistematice să ia foarte în serios problema fraudei. Poate că a fost o coincidență, dar cu câteva săptămâni înainte de seminarul web, Colaborarea Cochrane a elaborat orientări privind revizuirea studiilor în cazul în care a avut loc o retractare, o exprimare a îngrijorării sau când recenzenții sunt îngrijorați cu privire la fiabilitatea datelor.

Retracțiunile sunt cele mai ușor de abordat, dar acestea reprezintă, așa cum a spus Mol, doar o fracțiune infimă din studiile nedemne de încredere sau zombi. Un editorial din Biblioteca Cochrane care însoțește noile orientări recunoaște că nu există un acord cu privire la ceea ce constituie un studiu nedemn de încredere, că instrumentele de screening nu sunt fiabile și că o „clasificare eronată ar putea duce, de asemenea, la prejudicii de reputație pentru autori, la consecințe juridice și la probleme etice asociate cu participanții care au luat parte la cercetare, doar pentru ca aceasta să fie respinsă”. Colaborarea este precaută, dar riscă să piardă credibilitate – și venituri – dacă lumea încetează să mai aibă încredere în recenziile Cochrane, deoarece se consideră că acestea se bazează pe studii nedemne de încredere.

Frauda în cercetare este adesea privită ca o problemă a „merelor stricate”, dar Barbara K Redman, care a luat cuvântul la seminarul web, insistă că nu este o problemă a merelor stricate, ci a butoaielor stricate, dacă nu cumva, a spus ea, a pădurilor sau livezilor putrede. În cartea sa Research Misconduct Policy in Biomedicine: Beyond the Bad-Apple Approach (Politica privind conduita necorespunzătoare în cercetare în biomedicină: Dincolo de abordarea merelor putrede), ea susține că abaterea în cercetare este o problemă de sistem – sistemul oferă stimulente pentru publicarea de cercetări frauduloase și nu are procese de reglementare adecvate. Cercetătorii progresează prin publicarea de cercetări și, deoarece sistemul de publicare se bazează pe încredere, iar evaluarea inter pares nu este concepută pentru a detecta fraudele, este ușor să se publice cercetări frauduloase.

Modelul de afaceri al revistelor și al editorilor depinde de publicarea, de preferință a multor studii, cât mai ieftin posibil. Aceștia sunt puțin stimulați să verifice dacă există fraude și sunt descurajați să suporte daune de reputație – și eventual riscuri juridice – din cauza retragerii studiilor. Finanțatorii, universitățile și alte instituții de cercetare au, în mod similar, stimulente pentru a finanța și publica studii și descurajări pentru a face scandal în legătură cu cercetările frauduloase pe care le-ar fi finanțat sau pe care le-ar fi făcut în instituția lor – poate de către unul dintre cercetătorii lor vedetă. Autoritățile de reglementare nu dispun adesea de statutul juridic și de resursele necesare pentru a răspunde la ceea ce este în mod clar o fraudă de amploare, recunoscând că dovedirea faptului că un studiu este fraudulos (spre deosebire de suspiciunea că este fraudulos) este un proces calificat, complex și care necesită mult timp. O altă problemă este faptul că cercetarea este din ce în ce mai mult internațională, cu participanți de la multe instituții din multe țări: cine își asumă atunci sarcina deloc de invidiat de a investiga fraudele? Știința are într-adevăr nevoie de o guvernanță globală.

Toată lumea are de câștigat din jocul publicării, a concluzionat Roberts, în afară de pacienții care au de suferit dacă li se administrează tratamente bazate pe date frauduloase.

Stephen Lock, predecesorul meu în funcția de redactor la The BMJ, a început să se îngrijoreze în legătură cu frauda în cercetare în anii 1980, dar oamenii i-au considerat preocupările excentrice. Autoritățile din domeniul cercetării au insistat că frauda era rară, că nu conta, deoarece știința se autocorecta și că niciun pacient nu a avut de suferit din cauza fraudei științifice. Toate aceste motive pentru a nu lua în serios frauda în cercetare s-au dovedit a fi false și, la 40 de ani de la preocupările lui Lock, ne dăm seama că problema este uriașă, că sistemul încurajează frauda și că nu avem o modalitate adecvată de a răspunde. Poate că a sosit momentul să trecem de la a presupune că cercetarea a fost efectuată și raportată în mod onest la a presupune că nu este demnă de încredere până când există dovezi contrare.

Autor: Richard Smith, editor la The BMJ până în anul 2004

Citiți și:
Himera ştiinţei – Dogma ca metodă de (ne)cercetare ştiinţifică
Dr. Vasile Astărăstoae: Legături primejdioase. Relațiile dintre industria farmaceutică și revistele / jurnalele medicale

yogaesoteric
18 octombrie 2022