Criza replicării dezvăluie publicarea tendențioasă și chiar canonizarea unor false fapte în studiile științifice
„Un dram de rău
Mănează a conștiinței toată nobilă plămadă
Spre-a ei rușine.”
Hamlet, Act I, scena 4
Când, în august 2015, revista Science a publicat articolul „Estimating the reproducibility of psychological science” (Evaluarea reproductibilității științei psihologice), o cutie a Pandorei s-a deschis: Un grup de cercetători care au încercat să reproducă rezultatele experimentelor psihologice publicate în 100 articole peer-reviewed, au găsit că doar 35 pot fi replicate.
Ca un bulgăre de zăpadă, criza replicării s-a rostogolit mai întâi pe prima pagină a influentului The New York Times, cu un titlu alarmant: „Many Psychology Findings Not as Strong as Claimed, Study Says” (Multe descoperiri psihologice nu sunt atât de solide pe cât se pretinde, arată unele studii) și cu o alarmă sumbră: „Acest rezultat dezastruos a confirmat temerile cele mai grave ale oamenilor de știință care s-au îngrijorat de multă vreme că psihologia are nevoie de o corecție puternică”.
Rush Limbaugh
Apoi, în decurs de câteva ore, cel mai cunoscut comentator american de dreapta, Rush Limbaugh, s-a adresat celor 13 milioane de ascultători ai programului său zilnic: „Puteți presupune, în mod sigur, că marea majoritate a tot ce citiți – dacă citiți din revista Science, din Psychology Today – este complet fals… De la nutriție la psihologie, la schimbările climatice, la încălzirea globală și până la fracturarea hidraulică, tot ceea ce a fost expus aici demonstrează că știința nu este diferită de politică. Știința este actualmente complet determinată de bani. Rezultatele științifice pot fi cumpărate. Iar odată cu rezultatele științifice, fie în științele sociale, fie în știința climei, fie în știința medicală, apare falsul … când puteți cumpăra rezultatul dorit, nu mai avem știință; avem politică coruptă.
Și este sigur să spunem că marea majoritate a ceea ce trece drept politică, știință sau orice, în sistemul nostru de astăzi a fost coruptă într-un anumit grad cu bani. Și de aceea cred că se întâmplă ceva de genul Trump.”
[Emisiunea a fost transmisă pe 28 august 2015, când Trump era doar unul din cei 26 candidați prezidențiali. Rush Limbaugh a vorbit premonitoriu și despre fake data.]
Revelațiile din 2015 despre criza replicării observațiilor, măsurătorilor sau experimentelor științifice publicate peer-reviewed sunt doar vârful aisbergului. O listă minimă a fraudelor științifice poate începe, de exemplu, din 2005 și continuă până în prezent [i]. Pe lângă psihologie, criza replicării include și articole publicate în biomedicină, economie, farmacie, inteligență artificială, ecologie, schimbări climatice etc.
De exemplu, în 2011, un grup de cercetători de la compania germană Bayer, au scris în Nature Reviews Drug Discovery că 75% din literatura peer-reviewed utilizată pentru descoperirea unor noi medicamente nu prezintă încredere deoarece conține fake facts (rezultate nereplicabile). Iar în 2013, o firmă de biotehnologie – Amgen – a raportat că a putut replica numai 6 din 53 de studii majore din domeniul cancerului.
Imposibilitatea replicării afectează, conform unor autori, circa 50% din toată literatura științifică. S-a estimat, de asemenea, că publicarea de concluzii false sau exagerate este parțial responsabilă pentru risipirea a până la 85% din totalul resurselor de cercetare. De exemplu, un studiu din 2015 a concluzionat că numai în Statele Unite se cheltuiesc aproximativ 28 miliarde de dolari anual pe cercetări biomedicale nereproductibile.
Replicarea permite științei să se auto-corecteze. Rezultatele nereplicabile sunt mai rele decât basmele. Cu basmele, știm măcar că avem de-a face cu o ficțiune.
În ciuda importanței lor fundamentale pentru stabilirea credibilității științei și cheltuirea eficientă a resurselor, studiile dedicate replicării sunt rareori finanțate și, de regulă, nu prea bine văzute de cei care doresc să avanseze într-o carieră științifică.
Publicarea tendențioasă este o practică larg răspândită prin care se favorizează apariția articolelor cu rezultate „pozitive”. Chiar dacă cercetătorii au efectuat mai multe testări diferite ale unei ipoteze științifice, în articolul trimis spre publicare sunt descrise numai rezultatele favorabile („pozitive”) care au confirmat ipoteza. Rezultatele „negative”, absolut legitime din punct de vedere metodologic, nu prezintă prea mult interes (Ce rost are să arătăm cum ne-am chinuit să găsim soluția bună și prin câte încercări am trecut și cât timp și bani ne-a luat să obținem rezultatele „pozitive”?) pentru publicații și de aceea se influențează distribuirea nepărtinitoare a cercetărilor științifice. Dacă numărul rezultatelor „negative” publicate ar fi suficient de mare, atunci, prin comparație, ar putea fi mai ușor depistate acele fake facts care devin pe nedrept înregistrate drept facts.
Un studiu extins a găsit că între 1990-2007 peste 80% din cele 4.600 de articole studiate au raportat rezultate „pozitive”, acest număr depășind 90% în cazul unor discipline ca psihologia și ecologia. Mai mult, procentajul publicațiilor care raportează rezultate „negative” a scăzut continuu. Motivul principal este faptul că, pe fondul unei competiții acerbe pentru finanțări și citări, tinerii (și mai puțin tinerii) cercetători nu sunt atrași de ideea publicării unor rezultate „negative”, inclusiv a bazelor de date care le-au produs.
Publicarea tendențioasă numai a rezultatelor „pozitive” creează un efect de canonizare: unele rezultate sunt acceptate ca semnificative pe scară largă, nu se mai acceptă ușor re-testări sau re-examinări ale ipotezelor inițiale, statutul lor este ridicat pe un piedestal unde nu mai suportă contraziceri, iar viitoare testări, care ar pune la îndoială canonul, au șanse minime de publicare și mediatizare.
Fenomenul canonizării produce dezastre atunci când, în locul unor rezultate legitime, se aplică unor fake facts, în principal, celor nereplicabile.
Un exemplu de efect nefast al canonizării unor fake facts este cel al majorității cercetătorilor (peste 97%) care cred în încălzirea globală antropogenă. Bazat doar pe 4 articole care, surprinzător, au căzut peste același procentaj, canonul celor 97%, aka canonul schimbărilor climatice antropogene, a ajuns să domine mass media, organisme internaționale, Papa de la Roma, blogosfera, oameni politici și simpli contribuabili. Canonul celor 97% a devenit mai mult mediatizat și idolizat: un spațiu sacru, inviolabil, al corectitudinii politice. Orice opinie contrară canonului este imediat catalogată drept o dizidență gravă, iar făptașul devine un scientific denier sau climate denier, sinonim cu cei care neagă Holocaustul.
Dacă nu ar exista o tendențiozitate a publicării (publication bias), ar fi posibil să citim mai multe articole care demontează sine ira et studio, toate acele fake facts care au stat la baza canonului celor 97%.
Strict legat de acest canon, consider sugestiv un alt exemplu. El a fost prezentat de John R. Christy, profesor de științe atmosferice la University of Alabama, Climatologul Statului Alabama, în fața U. S. House Committee on Science, Space & Technology pe 29 martie 2017.
John R. Christy
Profesorul Christy, care a fost autor principal, autor colaborator și referent al Rapoartelor IPCC, a prezentat Congresului dovezi că între modelele climatice publicate și bine mediatizate ale IPCC și observațiile măsurate există o diferență semnificativă (Figura 1). Adică, modelele climatice nu pot replica realitatea. O altă descoperire făcută de profesorul Christy este și mai șocantă: diferența dintre modele și realitate este cauzată de introducerea adițională a gazelor antropogene cu efect de seră!!
Figura 1. Modele climatice vs. Observații ale variațiilor temperaturilor tropicale din troposfera mediană. Există 102 modelări și trei seturi diferite de măsurători. Începând din 1996, se înregistrează o diferență semnificativă între modelele conținând gaze antropogene cu efect de seră și cele trei seturi de observații.
Dacă însă se consideră doar gazele naturale cu efect de seră, diferența dintre modele și realitate dispare. Concluzia este simplă: gazele antropogene cu efect de seră introduse în modele sunt fake facts canonizate, care pică la examenul cu realitatea. Se poate specula dacă depoziția profesorului Christy în fața Congresului a influențat decizia președintelui Trump de a retrage Statele Unite din Acordul climatic de la Paris (august 2017).
Un alt canon ecologist, intens mediatizat în defavoarea explicațiilor alternative, deplânge soarta unor insule care vor fi înghițite curând de apele oceanice al căror nivel ar fi crescut din cauza oamenilor și a obiceiurilor lor de a arde combustibili fosili cu nemiluita. Dar, într-un moment neobișnuit de obiectivitate publicistică, revista Nature a publicat un articol cu iz de Radio Erevan: Este adevărat că arhipelagul Tovalu va fi înghițit de Oceanul Pacific din cauza încălzirii globale? Da, e adevărat, dar cu două mici precizări: Nu va fi de fapt o inundație, ci o ridicare a uscatului, iar cei nouă atoli și cele 101 insule recifale nu vor dispărea pentru că deja au crescut cu 73,5 hectare (2,9%) din 1971. Desigur, autorităților din Tuvalu, care au jucat un rol de primadonă pe scena Acordului climatic de la Paris, nu le-a plăcut acest tip de cercetare științifică, pe care au declarat-o imediat „știință proastă, iresponsabilă”. Și desigur, Rush Limbaugh nu putea să nu marcheze și el un punct, afirmând că „noua cercetare este încă o dovadă în plus că schimbările climatice sunt fake”.
Un ultim exemplu ilustrează nașterea unui alt canon ecologic, modernizat la zi pentru a include le mot du jour, încălzirea globală antropogenă.
Marea Barieră de Corali (MBC) are o natură iconică pentru ecologiști și, de aceea, s-a bucurat de atenția lor și a guvernelor din Queensland și Australia de peste 55 de ani. Autoritățile au cheltuit deja 375 milioane AUD între 2008 și 2013 și se pregătesc să mai cheltuiască 575 milioane AUD în perioada 2015-2020. Campaniile din anii 1960 s-au concentrat la început pe prevenirea exploatării miniere a coralilor pentru producerea carbonatului de calciu. Apoi, s-a descoperit că mortalitatea coralilor este produsă de o stea de mare extrem de vorace (Crown of Thorns Starfish). În anii 1990 a apărut un alt motiv de îngrijorare pentru conservarea MBC: îngrășămintele folosite în agricultură și transportate de râuri în ocean, care favorizează înmulțirea și dezvoltarea larvelor stelei de mare ucigașe. Când, în 1998 și, apoi, în 2002, a fost observată albirea unor zone coraligene, cauzele prepuse au fost temperatura și pH-ul apei, plus frecvența și intensitatea cicloanelor. Ecologiștii au decis că aceste ultime cauze intră sub umbrela generoasă a schimbărilor climatice, aka încălzirii globale antropogene. Canonul MBC – încălzire globală a fost creat fără scrupule științifice replicabile și supraviețuiește și astăzi în mass media și politicile guvernamentale.
Precum în exemplul de mai sus cu Radio Erevan, realitatea este că, exceptând câteva mici colțuri de pe marginea recifurilor, afectate de lucrări portuare, coralii vii trăiesc pe toate cele aprox. 3.000 recifuri ai MBC. Cu alte cuvinte, afirmația că MBC se găsește sub o amenințare crescută din cauza încălzirii globale antropogene este puternic exagerată.
Se poate impune un control de calitate al științelor care legitimează decizii politice majore?
Criza replicării, cu cele două repercusiuni discutate mai sus, este o cauză majoră a erodării încrederii populare în acele științe aplicate folosite pentru introducerea unor politici naționale și internaționale. Iar când în joc intră cheltuirea unor sume de ordinul sutelor de miliarde de dolari publici pentru soluții cerute de diverse canoane, controlul și garanția calității cercetărilor care fundamentează canoanele trebuie să preocupe deopotrivă pe oamenii de știință și actanții politici.
Două controale de calitate care au loc după trimiterea manuscriselor spre publicare sunt peer-review și comentariile cu replica autorilor pe care unele reviste le publică ocazional.
Procesul peer-review
Considerat de mulți ca un etalon de aur al verificării calității unei cercetări, peer-review-ul are puncte tari, dar și slabe. Ideea de bază a acestui proces este că referentul este o persoană complet obiectivă și un profesionist fără cusur, iar referatul lui este un filtru excelent pentru a asigura publicarea unui material lizibil, cu erorile vizibile eliminate. Dar realitatea este departe de ideal. Există, din păcate, referenți anonimi care măcelăresc un manuscris pentru un câștig oarecare: fie preiau informația inedită din manuscris pentru uz personal, fie împărtășesc conținutul manuscriselor cu alții. De aceea, nu trebuie să ne mire răbufnirea unui autor frustrat: „Știm că sistemul peer-review este neobiectiv, injust, lipsit de responsabilitate, incomplet, ușor de aranjat, adeseori insultător, de regulă ignorant, uneori prostesc și adesea greșit”.
Autorii care se simt înșelați nu au alte resurse la îndemână decât să retrimită manuscrisul altei publicații, chiar dacă întârzierea publicării le-ar putea fi fatală, iar șansele lor de angajare sau finanțare vor fi reduse. Ce altceva poate face un autor pentru a repara o nedreptate pe care el crede că i-a făcut-o un referent? Nimic important. Îi poate scrie editorului asociat un e-mail și acesta îi aduce aminte că decizia lui, bazată pe cele 2-3 referate externe, nu poate fi subiect de recurs.
Procesul de comentariu-replica autorului
Uneori, unele reviste găzduiesc un comentariu (de regulă, critic) la adresa unui articol publicat anterior. Autorul are dreptul la replică publicată imediat sub comentariu. Teoretic, este vorba de un control ad-hoc al calității, bazat pe dorința acelor cititori atenți care au timpul și pregătirea necesare pentru a citi cu atenție articolul și de a scrie comentariul. Un astfel de proces devine dificil dacă trebuie analizate baze de date vaste sau trebuie replicate experimente scumpe și cu durate lungi.
Din păcate, majoritatea comentariilor sunt ignorate în literatura de specialitate sau produc alte efecte. Pentru un autor tânăr, acest procedeu nu este atrăgător deoarece – oameni suntem! – îi atrage animozități personale și riscuri în carieră, ceea ce îl face să se gândească de două ori înainte de a trimite comentariul critic spre publicare. Pe scurt, acest control al calității articolelor publicate nu are suficiente atuuri pentru a deveni popular printre cercetători. Există, dimpotrivă, varii motivații ca să „stai cuminte în banca ta”.
Concluzii
Realitatea dură a crizei replicării, însoțită de tendențiozitatea publicării de rezultate predominant „pozitive” și canonizarea unor fake facts, are efecte nefaste multiple, care se cer atent examinate și înlăturate.
În primul rând, este vorba de costurile morale:
Diminuarea dramatică, cu diverse consecințe, a încrederii populare în obiectivitatea și veridicitatea cercetărilor științifice aplicate din mai multe domenii – psihologie, economie, biomedicină, farmacie, ecologie, schimbări climatice etc. Lipsa replicării unor rezultate, cuplată cu o tendință accentuată de a publica predominant rezultate „pozitive”, creează un pericol real pentru canonizarea unor fake facts și ridică imediat întrebarea: Este știința degenerată ori se mai poate auto-corecta?
Încă din 1964, laureatul Premiului Nobel pentru Medicină, Sir Peter Medawar, lansa o întrebare-ghilotină, care mai face valuri și astăzi: „Is the scientific paper a fraud?” (Este documentul științific o fraudă?). Când Academician’s Research Center din India publică revista Immunology and Vaccines, în al cărei consiliu editorial s-a găsit o vreme „celebrul academician” Borat Sagdiyev din Kazahstan, ce mai putem crede despre știință?!
Sir Peter Medawar
Dacă celor 13 milioane de ascultători ai lui Rush Limbaugh li se spune că știința nu e deosebită de politică, pentru că ambele sunt corupte din cauza banilor, că rezultatele studiilor științifice pot fi cumpărate pentru diverse scopuri, înseamnă că „ceva e putred în Danemarca”. De aceea am folosit ca motto metafora prințului Hamlet, care deplângea pe acei oameni plini de „daruri neprețuite, precum harul sau virtutea” dar în care „Un dram de rău e-ndeajuns/ Să strice nobila plămadă-a conștiinței/ Spre propria-i rușine”. În cazul științei, dramul de rău sunt criza replicării, publicarea tendențioasă și canoanele iscate de date fraudate și false interpretări.
În al doilea rând, e vorba de costurile socio-economice:
Am menționat deja sumele imense, între sute de milioane și zeci de miliarde dolari, irosite pe experimente nereplicabile și care, printr-un feedback pervers, generează cereri suplimentare din banii publici. Cercetătorii respectivi nu uită să adauge o propoziție-cheie la sfârșitul articolelor lor: „More research is needed” (Sunt necesare mai multe cercetări). Și cu cât rezultatele lor nereplicabile sunt mai apocaliptice (Armaghedonul climatic este aproape! Planeta este în pericol mortal din cauza schimbărilor climatice!), cu atât presiunea publicului și a politicienilor progresiști este mai mare: Să le dăm fonduri să cerceteze fără întrerupere, altfel va veni sfârșitul lumii!
Sub aspect social, rateurile științifice și canonizarea unor fake facts într-un domeniu de interes mondial, precum cel al schimbărilor climatice, îmbracă și o formă strict politică: introducerea în cetate a unui cal troian marxist.
Într-un interviu din 2010, dr. Ottmar Endenhoffer – un cunoscut cercetător german și lider IPCC – a dezvăluit clar ce scopuri urmărește organizația care a primit Premiul Nobel pentru Pace în 2007, împreună cu fostul vicepreședinte american Al Gore: „Trebuie să vă eliberați de iluzia că politicile climatice internaționale au ceva de-a face cu politicile de mediu. În realitate, politicile schimbărilor climatice se referă la modul în care noi [IPCC] redistribuim de facto bogăția lumii.”
Poziția politică a IPCC cu privire la schimbările climatice a fost reiterată și de Christina Figueres, secretar executiv al United Nations Framework Convention on Climate Change. Cu câteva luni înainte de Conferința Climatică de la Paris din decembrie 2015, domnia sa a ținut să sublinieze că Acordul climatic nu este despre știința climei ori schimbările climatice, ci despre cu totul altceva: „Este pentru prima dată în istoria omenirii când ne-am stabilit sarcina intenționată ca, într-o perioadă definită de timp, să schimbăm modelul [capitalist] de dezvoltare economică, care a domnit timp de cel puțin 150 de ani, de la revoluția industrială.”
Introducerea în cetățile noastre a calului troian marxist îmbrăcat cu peticele schimbărilor climatice și sustenabilității este o acțiune mai insidioasă și mai persistentă decât apare la prima vedere. Una dintre manifestări poate fi citită într-una dintre cele mai prestigioase reviste științifice, Nature Sustainability, pe 1 februarie 2018. Sub un titlu cât se poate de generos, „O viață bună pentru toți pe o planetă limitată”, autorii (britanici și un german) fac o pledoarie „științifică” pentru confiscarea și redistribuirea bogăției, dezvoltarea socialismului și distrugerea democrației în acele țări care nu vor să-și predea bogățiile de bună voie. Nu peste multă vreme, vechea lozincă marxistă se va schimba în „Ecologiști din toate țările, uniți-vă!”.
În al treilea rând, este vorba despre educația științifică a multora dintre noi:
Chiar dacă sursele de informații au explodat pur și simplu după inventarea internetului, a platformelor de discuții virtuale și a rețelelor de socializare, asistăm la proliferarea ignoranților benevoli și la manipularea lor continuă prin publicare tendențioasă și canoane construite pe fake facts. Sub oblăduirea mass-media și cu asentimentul complice a numeroase guverne, se promovează apoi măsuri coercitive pentru societăți întregi.
Ce se poate petrece după aceea, ne-a avertizat Albert Camus: „Într-o bună zi, ciuma își va trezi șobolanii și-i va trimite să moară într-un oraș fericit”.
Notă:
[i]- Ioannidis, J. P. A., 2005, Why most published research findings are false, PLoS Med., vol. 2, no. 8
– Ioannidis, J. P. A., 2014, How to make more published research true, PLoS Med., vol. 11, no. 10
– Nissen, S. B. et al., 2016, Publication bias and the canonization of false facts, eLife, 5:e21451, DOI: 10.7554/eLife.21451.
– Baker M., 2016, 1,500 scientists lift the lid on reproducibility, Nature, vol. 533, p. 452–454.
– Buranyi, S., 1 February 2017, The long read The hi-tech war on science fraud The problem of fake data may go far deeper than scientists admit.
– Grant, R. P., 4 January 2018, Why scientists need to do more about research fraud? Scientific misconduct is more than just an academic problem – it has repercussions for real people
– Larcombe, P., and Ridd, P, 2018, The need for a formalized system of Quality Control for environmental policy-science, Marine and Pollution Bulletin, vol. 126, p. 449-461.
– Hutson, M., 2018, Artificial intelligence faces reproducibility crisis, Nature, 16 February 2018
- The Scientist
Citiți și:
«Încălzirea globală», o imensă excrocherie de 22 miliarde dolari!
COP21/CMP11 – Conferința ONU referitoare la schimbările climaterice. Câteva aspecte care NU s-au discutat la Paris
yogaesoteric
15 iunie 2018