„Nașul” inteligenței artificiale spune că cele mai recente modele îi mint pe utilizatori. OpenAI (modelul 03) a refuzat instrucțiuni explicite de închidere

Câștigătorul premiului Turing Yoshua Bengio lansează organizația non-profit LawZero pentru o inteligență artificială mai sigură, avertizând în același timp că modelele recente prezintă caracteristici periculoase, scrie Financial Times.

Yoshua Bengio, considerat unul dintre „nașii” inteligenței artificiale, academician canadian a cărui muncă a influențat tehnicile utilizate de grupuri de top din domeniul inteligenței artificiale, precum OpenAI și Google, a declarat: „Din păcate, există o cursă foarte competitivă între laboratoarele de top, care le împinge să se concentreze pe capacitatea de a face IA din ce în ce mai inteligentă, fără să pună suficient accent pe cercetarea privind siguranța.”

Câștigătorul Premiului Turing a lansat avertismentul său într-un interviu acordat Financial Times, în cadrul lansării unei noi organizații non-profit numite LawZero. El a declarat că grupul se va concentra pe construirea de sisteme mai sigure, promițând să „izoleze cercetarea noastră de aceste presiuni comerciale”.

LawZero a strâns până acum aproape 30 de milioane de dolari în contribuții filantropice de la donatori, inclusiv inginerul fondator al Skype, Jaan Tallinn, fostul șef Google, Eric Schmidt, precum și Open Philanthropy și Future of Life Institute.

Mulți dintre finanțatorii lui Bengio se înscriu în mișcarea „altruismului eficient”, ai cărei susținători tind să se concentreze pe riscurile catastrofale care înconjoară modelele de inteligență artificială.

Modelul o3 al OpenAI a refuzat instrucțiuni explicite de închidere.

Bengio a spus că grupul său non-profit a fost fondat ca răspuns la dovezile tot mai numeroase din ultimele șase luni care arată că modelele de top din prezent dezvoltă capacități periculoase. Aceasta includ „dovezi de înșelăciune, trișare, minciună și autoconservare”, a spus el.

Modelul Claude Opus al companiei Anthropic a șantajat ingineri într-un scenariu fictiv în care risca să fie înlocuit de un alt sistem. Cercetările efectuate luna trecută de testerii de inteligență artificială Palisade au arătat că modelul o3 al OpenAI a refuzat instrucțiuni explicite de închidere.

Bengio a spus că astfel de incidente sunt „foarte înfricoșătoare, pentru că nu vrem să creăm un concurent pentru ființele umane de pe această planetă, mai ales dacă sunt mai deștepți decât noi”.

Pionierul inteligenței artificiale a adăugat: „În acest moment, acestea sunt experimente controlate [dar] îngrijorarea mea este că, oricând în viitor, următoarea versiune ar putea fi suficient de inteligentă din punct de vedere strategic pentru a ne învinge cu înșelăciuni pe care nu le anticipăm. Așadar, cred că ne jucăm cu focul chiar acum.”

Capacitatea sistemelor de a ajuta la construirea de „arme biologice extrem de periculoase” ar putea deveni realitate chiar de anul viitor, a adăugat el.

Cu sediul în Montreal, LawZero are în prezent 15 angajați și își propune să angajeze mai mulți specialiști pentru a construi următoarea generație de sisteme de inteligență artificială concepute pentru siguranță.

Bengio, profesor de informatică la Universitatea din Montreal, va demisiona din funcția de director științific la Mila, Institutul de Inteligență Artificială din Quebec, pentru a se concentra pe noua organizație.

Acesta își propune să dezvolte un sistem de inteligență artificială care să ofere răspunsuri veridice, bazate pe un raționament transparent, în loc să fie antrenat pentru a mulțumi utilizatorul, oferind în același timp o evaluare corectă dacă un rezultat este bun sau sigur. Bengio speră să creeze un model care să poată monitoriza și îmbunătăți ofertele existente ale grupurilor de inteligență artificială de top, împiedicându-le să acționeze împotriva intereselor umane.

„Cel mai rău scenariu este dispariția umanității”, a spus el. „Dacă construim inteligențe artificiale care sunt mai inteligente decât noi și nu sunt aliniate cu noi și concurează cu noi, atunci practic suntem pierduți.”

Decizia lui Bengio de a înființa LawZero vine în contextul în care OpenAI își propune să se îndepărteze și mai mult de rădăcinile sale caritabile, transformându-se într-o companie cu scop lucrativ. Această mișcare a provocat îngrijorări din partea experților în inteligență artificială și a declanșat un proces intentat de cofondatorul Elon Musk, care încearcă să blocheze tranzacția.

Criticii susțin că OpenAI a fost fondată pentru a se asigura că IA a fost dezvoltată în beneficiul umanității, iar noua structură elimină căile de atac legale dacă firma prioritizează profitul în detrimentul acestui obiectiv. OpenAI susține că trebuie să strângă capital pentru a concura în acest sector.

Bengio a spus că nu are încredere că OpenAI își va respecta misiunea. „Pentru a crește foarte rapid, trebuie să convingi oamenii să investească mulți bani, iar aceștia vor să vadă un randament al banilor lor. Așa funcționează sistemul”, a adăugat el.