Studiu: inteligențele artificiale răspund mai prost la întrebări simple pe măsură ce devin mai performante

Utilizarea mai multor date și a unei puteri de calcul mai mari este menită să facă inteligența artificială mai fiabilă, dar testele sugerează că modelele lingvistice mari devin de fapt mai slabe pe măsură ce se dezvoltă, scrie New Scientist.

Modelele lingvistice mari (LLM) par să devină mai puțin fiabile în a răspunde la întrebări simple atunci când se dezvoltă și învață de la oameni. Dezvoltatorii de inteligență artificială urmăresc să îmbunătățească puterea IA în două moduri principale: scalarea – oferindu-le mai multe date de antrenament și mai multă putere de calcul – și modelarea, sau ajustarea lor fină ca răspuns la feedback-ul uman.

José Hernández-Orallo de la Universitatea Politehnică din Valencia, Spania, și colegii săi au examinat performanța acestora pe măsură ce ele au crescut și au fost modelate. Aceștia au analizat ChatGPT de la OpenAI, modelele LLaMA de la Facebook și BLOOM – dezvoltat de un grup de cercetători numit BigScience.

Cercetătorii au testat inteligența artificială propunând cinci tipuri de sarcini: probleme aritmetice, rezolvarea de anagrame, întrebări geografice, provocări științifice și extragerea de informații din liste dezorganizate. Ei au constatat că extinderea și modelarea pot face ca acestea să răspundă mai bine la întrebări dificile, cum ar fi rearanjarea unor anagrame.

Dar acest fenomen nu este însoțit de o îmbunătățire a răspunsurilor la întrebările de bază, cum ar fi „ce obții când aduni 24427 cu 7120?”, la care LLM continuă să greșească. În timp ce performanțele la întrebările dificile s-au îmbunătățit, probabilitatea ca un sistem IA să evite să răspundă la o întrebare – pentru că nu poate – a scăzut.

Ca urmare, probabilitatea unui răspuns incorect a crescut. Rezultatele evidențiază pericolele faptului de a prezenta IA-urile ca fiind omnisciente, așa cum fac adesea creatorii lor, și pe care unii utilizatori sunt prea dispuși să le creadă, spune Hernández-Orallo. „Ne bazăm pe ele și avem încredere în ele mai mult decât ar fi cazul”, spune el.

„O parte din ceea ce face ca ființele umane să fie superinteligente este faptul că uneori nu ne dăm seama că nu știm ceva ce nu știm, dar în comparație cu modelele lingvistice mari, suntem destul de buni în a realiza aceasta”, spune Carissa Véliz de la Universitatea din Oxford. „Modelele mari de limbaj nu cunosc limitele propriilor cunoștințe”, mai arată Véliz.

Citiți și:
Cum vor transumaniștii să-l înlocuiască pe Dumnezeu cu Mașina, într-o nemurire digitală
Problemele generate de ChatGPT (roboții IA) și cum să răspundeți provocării

yogaesoteric
24 octombrie 2024