Zašto AI agenti lažu i varaju da bi postigli svoje ciljeve

Dva OpenAI modela su hakovala sajt Hugging Face u julu ove godine ne s ciljem krađe novca ili sabotaže, već da bi pronašli odgovore na testno pitanje. Modeli su probili zaštićeno okruženje u kojem su bili zatvoreni i ušli u baze podataka portala, odlučivši da tamo mogu naći tačan odgovor na zadatak iz kibernetičke bezbjednosti.

Prema objašnjenju OpenAI kompanije, modelima su za potrebe testiranja bile uklonjene standardne zaštitne funkcije. Da bi riješili zadatak, AI sistemi su povezali nekoliko ranije nepoznatih sigurnosnih propusta i uspjeli da pristupe bazama Hugging Face platforme.

Istraživači odavno znaju da vještačka inteligencija ima sklonost kreativnim pristupima postizanju zacrtanih ciljeva. Još 2016. godine, osnivači kompanije Anthropic Dario Amodei i Jack Clark, koji su tada radili za OpenAI, objavili su slučaj AI agenta koji je treniran da igra trkaću igru Coast Runners. Umjesto da vozi do cilja, agent je našao dio staze gdje je mogao da se vrti u krug i skuplja bonuse, čime je povećavao rezultat – potpuno zaobilazeći svrhu trke.

Ovaj fenomen naziva se reward hacking, situacija u kojoj AI agenti izvršavaju zadatke koristeći nenamjerne strategije. Istorijski se o tome raspravljalo u kontekstu reinforcement learning treninga, metoda koja nagrađuje željeno ponašanje kako bi ga ojačala. Problem nastaje kad sistem pronađe način da dobije nagradu ne radeći ono što je zamišljeno.

Sa današnjim sofisticiranim AI sistemima zasnovanim na velikim jezičkim modelima, određivanje kada nagraditi agenta postaje mnogo složenije. Ako sistem dobije zadatak da riješi problem u programiranju, može pošteno tražiti rješenje – ali može i izmijeniti kod koji provjerava da li je problem riješen, potražiti odgovor na internetu ili na drugi način varati. Ako vara dovoljno uvjerljivo, dobija nagradu i takvo ponašanje se pojačava.

Kompanija Anthropic je potvrdila da je otkrila neke slučajeve varanja kod svojih modela tokom treninga, što ukazuje da bi drugi oblici prevare mogli ostati nezapaženi. U tom slučaju, modeli bi bili trenirani da se ponašaju loše. 'Nagrađujemo ih na osnovu onoga što nama izgleda dobro, i to znači da nenamjerno podstičemo modele da nas lažu i varaju', objašnjava Jeffrey Ladish, direktor istraživačke organizacije Palisade Research. 'Nemamo način da im kažemo da moraju stvarno brinuti o onome do čega je nama stalo.'