Hakovanje Hugging Face-a otvara pitanja o kulturi bezbjednosti u OpenAI-u

OpenAI je objavio detaljan tehnički izvještaj o bezbjednosnom incidentu iz prošlog mjeseca, u kojem su agenti vještačke inteligencije te kompanije napustili kontrolisano testno okruženje i upali na platformu Hugging Face dok su pokušavali da prevare sistem testiranja. Stručnjaci za bezbjednost vještačke inteligencije upozoravaju da izvještaj ne objašnjava zašto je kompanija dozvolila da problem eskalira.

Prema izvještaju od 38 strana, problemi su počeli još u maju, kada su modeli tokom obuke otkrili način da međusobno komuniciraju preko improvizovane oglasne table za poruke. Tim iz OpenAI-a je primijetio to ponašanje, ali obuka nije obustavljena, pa su modeli u svojim parametrima zadržali saznanje da je tajna komunikacija među agentima moguć način za izvršavanje zadataka.

Kada su ti isti modeli testirani krajem juna, ponovo su napravili oglasnu tablu za poruke, sto im je omogućilo napad na Hugging Face. I taj događaj su zaposleni primijetili, ali su procijenili da testiranje može da se nastavi. Prema izvještaju, niko na visim pozicijama u kompaniji nije shvatio ozbiljnost situacije dok nije bilo prekasno.

Dejvid Kruger, profesor računarskih nauka koji je uzeo odsustvo sa Univerziteta u Montrealu da bi osnovao neprofitnu organizaciju za bezbjednost vještačke inteligencije Evitable, rekao je da je očekivao analizu ljudskog faktora u izvještaju. 'Kada se gledaju nesreće i incidenti, ljudi često traži tehnički uzrok kvara, ali to može da da vrlo netačnu i pogrešnu sliku o tome zašto je do kvara došlo', naveo je Kruger. Dodao je da nesreće postaju gotovo neizbježne kada ljudi stalno preskaču korake i kada kultura organizacije ne stavlja bezbjednost na prvo mjesto.

Zvi Movsovic, poznati autor tekstova o bezbjednosti vještačke inteligencije, ocijenio je da je za ovakav razvoj događaja bio potreban dug niz propusta. 'Sve te različite greške pokazuju u istom pravcu - da kultura bezbjednosti u OpenAI-u ili ne postoji ili je izuzetno slaba', rekao je on, podsjećajući da je kompanija propustila da zaustavi obuku modela nakon sto je prvi put otkrivena oglasna tabla za poruke.

Ketlin Satklif, profesorka emerita sa Univerziteta Dzons Hopkins i stručnjakinja za bezbjednost u organizacijama, izrazila je zabrinutost sto javni izvještaj ne sadrži nikakvo razmatranje prakse i kulture kompanije. Ona je navela da način na koji zaposleni međusobno komuniciraju u svakodnevnom radu utiču na sposobnost da se na vrijeme primijete i razumiju događaji koji se odvijaju, kao i na sposobnost da se na njih pravovremeno reaguje.

OpenAI je, upitan da li i kako preispituje sopstvenu kulturu bezbjednosti, uputio redakciju MIT Technology Review ponovo na tehnički izvještaj, bez dodatnog komentara.