Cum o căutare a adevărului matematic și a modelelor complexe poate duce la predicții științifice inutile

O viziune dominantă în știință este acela că există un adevăr matematic care structurează universul. Se presupune că sarcina omului de știință este să descifreze aceste relații matematice: odată înțelese, ele pot fi traduse în modele matematice. Rularea „realității de siliciu” rezultată într-un computer ne poate oferi apoi informații utile despre cum funcționează lumea.

Deoarece știința continuă să dezvăluie secrete ale universului, modelele continuă să devină mai mari. Ele integrează descoperiri și mecanisme nou găsite pentru a reflecta mai bine lumea din jurul nostru. Mulți cercetători presupun că modelele mai detaliate produc estimări mai precise și predicții mai bune, deoarece sunt mai aproape de realitate. Dar o nouă cercetare, publicată în Science Advances, sugerează că acestea pot avea efectul opus.

Prezumția că „mai multe detalii sunt mai bune” trece peste domeniile disciplinare. Ramificațiile sunt enorme. Universitățile obțin computere din ce în ce mai puternice, deoarece doresc să ruleze modele din ce în ce mai mari, necesitând o cantitate din ce în ce mai mare de putere de calcul. Recent, Comisia Europeană a investit 8 miliarde de euro (6,9 miliarde de lire sterline) pentru a crea o simulare foarte detaliată a Pământului (cu oameni), numită „geamăn digital”, în speranța de a aborda mai bine provocările umanității și ecologice actuale.

În cele mai recente cercetări, arătăm că urmărirea unor modele din ce în ce mai complexe ca instrumente pentru a produce estimări și predicții mai precise ar putea să nu funcționeze. Pe baza teoriei statistice și a experimentelor matematice, am rulat sute de mii de modele cu configurații diferite și am măsurat cât de nesigure sunt estimările acestora.

Am descoperit că modelele mai complexe au avut tendința de a produce estimări mai incerte. Acest aspect se datorează faptului că se adaugă noi parametri și mecanisme. Un nou parametru, să spunem efectul gumei de mestecat asupra răspândirii unei boli, este necesar a fi măsurat – și, prin urmare, este supus erorilor de măsurare și incertitudinii. Modelatorii pot folosi, de asemenea, ecuații diferite pentru a descrie același fenomen matematic.

Odată ce aceste noi adăugiri și incertitudinile asociate lor sunt integrate în model, ele se adună peste incertitudinile deja existente. Iar incertitudinile continuă să se extindă cu fiecare actualizare a modelului, făcând rezultatul modelului mai neclar la fiecare pas, chiar dacă modelul în sine devine mai fidel realității. Acest aspect afectează toate modelele care nu au validarea adecvată sau date de antrenament pe baza cărora să se verifice acuratețea rezultatelor lor. Acestea includ modele globale de schimbări climatice, hidrologie (flux de apă), producție de alimente și epidemiologie deopotrivă, precum și toate modelele care prezic impacturi viitoare.

Rezultate neclare

În 2009, inginerii au creat un algoritm numit Google Flu Trends pentru prezicerea proporției de vizite medicale legate de gripă în SUA. În ciuda faptului că se bazează pe 50 de milioane de interogări pe care oamenii le-au introdus pe Google, modelul nu a fost capabil să prezică focarul de gripă porcină din 2009. Inginerii au realizat apoi un model, care nu mai funcționează, și mai complex. Dar tot nu a fost chiar atât de precis. Cercetările conduse de psihologul german Gerd Gigerenzer au arătat că a supraestimat în mod constant vizitele la medic în 2011-13, în unele cazuri cu peste 50%.

Gigerenzer a descoperit că un model mult mai simplu ar putea produce rezultate mai bune. Modelul său a prezis ratele săptămânale ale gripei pe baza unei singure date: câți oameni și-au văzut medicul de familie în săptămâna precedentă.

Un alt exemplu sunt modelele hidrologice globale, care urmăresc cum și unde se mișcă și este stocată apa. Au început simplu în anii 1960 pe baza „proceselor de evapotranspirație” (cantitatea de apă care se putea evapora și transpira dintr-un peisaj acoperit de plante) și s-au extins în curând, ținând cont de utilizările de apă menajere, industriale și agricole la scară globală.

Următorul pas pentru aceste modele este de a simula nevoile de apă de pe Pământ pentru fiecare kilometru în fiecare oră.

Și totuși, cineva se întreabă dacă acest detaliu suplimentar nu le va face și mai complicate. Am arătat că estimările cantității de apă utilizate în irigații produse de opt modele hidrologice globale pot fi calculate doar cu un singur parametru – întinderea suprafeței irigate.

Căi de urmat

De ce a fost trecut cu vederea până acum faptul că mai multe detalii pot face un model mai lipsit de acuratețe? Mulți modelatori nu își supun modelele analizei de incertitudine și sensibilitate, metode care le spun cercetătorilor cum incertitudinile din model afectează estimarea finală. Mulți continuă să adauge detalii fără a afla care elemente din modelul lor sunt cele mai responsabile pentru incertitudinea rezultatelor.

Este îngrijorător, deoarece modelatorii sunt interesați să dezvolte modele din ce în ce mai mari – de fapt, cariere întregi sunt construite pe modele complexe. Asta pentru că sunt mai greu de falsificat: complexitatea lor îi intimidează pe cei din afară și complică înțelegerea a ceea ce se petrece în interiorul modelului.

Există totuși remedii. Vă sugerăm să vă asigurați că modelele nu devin din ce în ce mai mari de dragul lor. Chiar dacă oamenii de știință realizează o analiză de incertitudine și sensibilitate, estimările lor riscă să devină atât de incerte încât devin inutile pentru știință și elaborarea politicilor.

Investiția de mulți bani în calcul doar pentru a rula modele a căror estimare este complet neclară nu are sens. Modelatorii ar fi necesar, în schimb, să se gândească la modul în care incertitudinea se extinde cu fiecare adăugare de detaliu în model și să găsească cel mai bun compromis între nivelul de detaliu al modelului și incertitudinea în estimare. Pentru a găsi acest compromis, se poate folosi conceptul de „dimensiuni efective” – o măsură a numărului de parametri care adaugă incertitudine la rezultatul final, ținând cont de modul în care acești parametri interacționează între ei, pe care îl definim în lucrarea noastră.

Prin calculul dimensiunilor efective ale unui model după fiecare actualizare, modelatorii pot evalua dacă creșterea incertitudinii face ca modelul să fie potrivit pentru politică – sau, în contrast, dacă face rezultatul modelului atât de incert încât să fie inutil. Acest aspect mărește transparența și îi ajută pe oamenii de știință să proiecteze modele care servesc mai bine științei și societății. Unii modelatori pot argumenta în continuare că adăugarea detaliilor modelului poate duce la estimări mai precise. Sarcina de a proba le revine acum.

Autor: Arnald Puy, profesor asociat în domeniul incertitudinilor sociale și de mediu, Universitatea din Birmingham

Citiți și:
Despre felul cum pandemia schimbă normele științei. Știința ca instrument politic (I)
Ministrul indian al Sănătății a acuzat OMS că și-a bazat estimarea numărului de decese cauzate de covid-19 pe „ipoteze eronate” și pe un model „neștiințific”

yogaesoteric
16 martie 2023

Also available in: Français