Inteligența artificială a luat-o razna | Un nou instrument al OpenAI descris ca având „robustețe și precizie la nivel uman” inventează tratamente medicale

Gigantul tehnologic OpenAI a prezentat un nou instrument de transcripție alimentat de inteligența artificială, Whisper. Potrivit companiei, acesta are „robustețe și precizie la nivel uman”, scrie Fortune.

Dar Whisper are un defect major: este predispus să inventeze texte sau chiar propoziții întregi. Acest fapt a fost confirmat de inginerii software, dezvoltatorii și cercetătorii care l-au creat. Ei au spus că unele dintre textele inventate – cunoscute în industrie ca halucinații – pot include comentarii rasiale, retorică violentă și chiar tratamente medicale imaginare.

Experții au declarat că astfel de invenții sunt problematice, deoarece Whisper este utilizat într-o serie de industrii din întreaga lume pentru a traduce și transcrie interviuri, a genera text în tehnologii de consum populare și a crea subtitrări pentru videoclipuri.

Mai îngrijorătoare, au spus ei, este graba centrelor medicale de a utiliza instrumente bazate pe Whisper pentru a transcrie consultațiile pacienților cu medicii, în ciuda avertismentelor OpenAI că instrumentul nu e indicat să fie utilizat în „domenii cu risc ridicat.

Inteligența artificială a luat-o razna

Întreaga amploare a problemei este dificil de perceput, dar cercetătorii și inginerii au declarat că s-au confruntat frecvent cu halucinațiile lui Whisper în munca lor.

Un cercetător de la Universitatea din Michigan a găsit halucinații în 8 din 10 transcrieri audio pe care le-a verificat.

Un inginer de învățare automată a spus că a descoperit inițial halucinații în aproximativ jumătate din cele peste 100 de ore de transcrieri Whisper pe care le-a analizat. Un al treilea dezvoltator a spus că a găsit halucinații în aproape fiecare dintre cele 26.000 de transcrieri pe care le-a creat cu Whisper.

Problemele persistă chiar și în mostre audio scurte și bine înregistrate. Un studiu recent realizat de informaticieni a descoperit 187 de halucinații în peste 13.000 de fragmente audio.

Astfel de greșeli ar putea avea „consecințe foarte grave”, în special în mediul spitalicesc, a declarat Alondra Nelson, care a condus Biroul de politici științifice și tehnologice al Casei Albe pentru administrația Biden până anul trecut.

„Nimeni nu vrea un diagnostic greșit”, a spus Nelson, care este profesoară la Institutul pentru Studii Avansate din Princeton, New Jersey.

„Ar fi necesar să existe un standard mai ridicat”, a adăugat ea.

OpenAI este presată să abordeze problema

Prevalența unor astfel de halucinații a determinat experți, avocați și foști angajați ai OpenAI să solicite guvernului federal să ia în considerare reglementări privind IA. Aceștia au afirmat că OpenAI este necesar, cel puțin, să remedieze această deficiență.

În timp ce majoritatea dezvoltatorilor presupun că instrumentele de transcriere scriu greșit cuvintele sau fac alte erori, inginerii și cercetătorii au declarat că nu au mai văzut niciodată un alt instrument de transcriere cu inteligență artificială care să halucineze la fel de mult ca Whisper.

Halucinațiile lui Whisper

Instrumentul este integrat în unele versiuni ale chatbot-ului emblematic al OpenAI, ChatGPT, și este o ofertă integrată în platformele de cloud computing ale Oracle și Microsoft, care deservesc mii de companii din întreaga lume. De asemenea, acesta este utilizat pentru transcrierea și traducerea textelor în mai multe limbi.

Numai în ultima lună, o versiune recentă a lui Whisper a fost descărcată de peste 4,2 milioane de ori de pe platforma AI open-source HuggingFace. Sanchit Gandhi, inginer în domeniul învățării automate, a declarat că Whisper este cel mai popular model open-source de recunoaștere a vorbirii și este încorporat în orice, de la centrele de apeluri la asistenți vocali.

Profesorii Allison Koenecke de la Universitatea Cornell și Mona Sloane de la Universitatea Virginia au examinat mii de fragmente scurte pe care le-au obținut din TalkBank, un depozit de cercetare găzduit la Universitatea Carnegie Mellon. Ele au stabilit că aproape 40% dintre halucinații erau dăunătoare sau îngrijorătoare, deoarece vorbitorul putea fi interpretat sau prezentat greșit.

Într-un exemplu pe care l-au descoperit, un vorbitor a spus: „El, băiatul, avea de gând, nu sunt sigur exact, să ia umbrela”.

Dar software-ul de transcriere a adăugat: „A luat o bucată mare de cruce, o bucată mică, minusculă……. Sunt sigur că nu avea un cuțit de teroare, așa că a ucis mai mulți oameni.”

Un vorbitor dintr-o altă înregistrare a descris „alte două fete și o doamnă”. Whisper a inventat un comentariu suplimentar privind rasa, adăugând „alte două fete și o doamnă, um, care erau negrese”.

Într-o a treia transcriere, Whisper a inventat un medicament inexistent numit „antibiotice hiperactivate”.

Cercetătorii nu sunt siguri de ce Whisper și instrumentele similare au halucinații, dar dezvoltatorii de software au declarat că invențiile tind să apară în timpul pauzelor, al sunetelor de fundal sau al redării muzicii.

OpenAI a recomandat în declarațiile sale online să nu se utilizeze Whisper în „contexte decizionale în care deficiențele de acuratețe pot duce la deficiențe pronunțate în rezultate”.

Transcrierea consultațiilor medicale

Acest avertisment nu a împiedicat spitalele sau centrele medicale să utilizeze modele de conversie a vorbirii în text, inclusiv Whisper, pentru a transcrie ceea ce se spune în timpul vizitelor la medic, pentru a le permite furnizorilor de servicii medicale să petreacă mai puțin timp cu luarea de notițe sau cu redactarea de rapoarte.

Peste 30.000 de medici și 40 de sisteme de sănătate, inclusiv Mankato Clinic din Minnesota și Children’s Hospital Los Angeles, au început să utilizeze un instrument bazat pe Whisper construit de Nabla, care are birouri în Franța și SUA.

Acest instrument a fost adaptat la limbajul medical pentru a transcrie și a rezuma interacțiunile pacienților, a declarat Martin Raison, directorul tehnologic al Nabla.

Oficialii companiei au declarat că sunt conștienți de faptul că Whisper poate avea halucinații și că sunt în curs de atenuare a problemei.

Este imposibil să se compare transcrierea generată de inteligența artificială a Nabla cu înregistrarea originală, deoarece instrumentul Nabla șterge înregistrarea audio originală din „motive de siguranță a datelor”, a declarat Raison.

Nabla a declarat că instrumentul a fost utilizat pentru a transcrie aproximativ 7 milioane de vizite medicale.

Saunders, fostul inginer OpenAI, a declarat că ștergerea înregistrării audio originale ar putea fi îngrijorătoare dacă transcrierile nu sunt verificate de două ori sau dacă medicii nu pot accesa înregistrarea pentru a verifica dacă acestea sunt corecte.

„Nu puteți detecta erorile dacă eliminați adevărul de bază”, a spus el.

Nabla a precizat că niciun model nu este perfect și că, în prezent, modelul său solicită furnizorilor de servicii medicale să editeze și să aprobe rapid notele transcrise, dar această situație s-ar putea schimba.

Preocupări legate de confidențialitate

Deoarece convorbirile pacienților cu medicii lor sunt confidențiale, este greu de știut cum le afectează transcrierile generate de inteligența artificială.

Purtătorul de cuvânt al John Muir Health, Ben Drew, a declarat că sistemul de sănătate respectă legile statale și federale privind confidențialitatea.

Citiți și:
ChatGPT poate provoca halucinații – Totuși, OpenAI dorește să îl facă disponibil pe scară largă pentru adolescenți și copii și pentru educație
Studiu: inteligențele artificiale răspund mai prost la întrebări simple pe măsură ce devin mai performante

 

yogaesoteric
14 noiembrie 2024