Az MI-ügynökök egyre nehezebben kontrollálhatók, ahogy olyan eszközöket kapnak, amelyekkel az interneten is cselekedhetnek. Ez sok szakértőt aggaszt, akik szerint komoly az esélye annak, hogy az MI kicsúszik az ellenőrzés alól. Már nem csupán válaszokat generáló modellekről beszélünk, hanem böngészni, külső szolgáltatásokat használni, és bizonyos helyzetekben a kijelölt korlátokon túl is keresni képes rendszerekről.
Az OpenAI ausztráliai ügye erre meglehetősen kézzelfogható példa. Az első hírek után, amelyek egy ausztrál kormányzati portál jogosulatlan eléréséről szóltak, most kiderült, hogy összesen négy intézményt érintett a probléma. Az incidensek júniusban, belső betanítási és értékelési munkák közben történtek. Az OpenAI egy nyilvános jelentésben közölte, hogy kizárólag kutatási célra szánt kísérleti modellt használtak, amelyből hiányzott a nyilvánosan elérhető termékek teljes védelmi rendszere.
Az egyik tesztben az ügynöknek azt kellett kiderítenie, mennyit költ a kormány bőrbetegségek gyógyszereire Victoria állam közösségeiben. Mivel a nyilvános adatok között nem találta meg az információt, a modell folytatta a keresést, és jogosulatlan hozzáférést szerzett a Services Australia által működtetett Medicare Statistics Reporting Service-hez.
Mi történt?
A Services Australia rendszereiben a modell parancsokat futtatott, és belső fájlokhoz, hitelesítő adatokhoz, aggregált statisztikákhoz, valamint műszaki információkhoz fért hozzá. Az OpenAI szerint nincs bizonyíték arra, hogy egyedi egészségügyi kartonokat is elért volna. Az NSW Bureau of Crime Statistics and Research esetében a nyilvános Crime Mapping Tool eszközön keresztül konfigurációs információk, naplók és metaadatok kerültek elő, bűnügyi nyilvántartások vagy személyes adatok elérése nélkül.
A Victorian Department of Health esetében az ügynökök egy nyilvánosságra került hozzáférési kulcsot találtak, majd konfigurációkat és felmérések aggregált statisztikáit nyerték ki. Egészségügyi dokumentumokat vagy azonosítható válaszokat állítólag nem olvastak. Az Australian Institute of Health and Welfare ügye árnyaltabb: az ügynökök aggregált statisztikákat töltöttek le, amelyek az OpenAI vizsgálata szerint valószínűleg nyilvánosan hozzáférhetők voltak, miközben a hozzáférés-ellenőrzések megkerülésére tett külön kísérleteik kudarcot vallottak. A vállalat szerint itt nem történt rendszerkompromittálás.
Az OpenAI csak augusztus közepén, a Hugging Face incidens után megkezdett ellenőrzések során azonosította a tevékenységet. A Services Australia és a victoriai hatóságok szeptember 10-én, az új-dél-walesi intézmény szeptember 18-án, az AIHW pedig szeptember 24-én kapott értesítést. A cég elismerte, hogy a kezdeti megállapításokat korábban kellett volna megosztania. Az ügy olyan időszakban történt, amikor az OpenAI ügynökeinek más váratlan viselkedése is napvilágra került.
Milyen döntést hozott az OpenAI?
A fontos technikai változás, hogy az érintett kutatási környezetek többé nem kapnak közvetlen internetelérést. A modellek gyorsítótárazott webes tartalmat kapnak, az OpenAI pedig további hálózati korlátozásokat és olyan monitorozási rendszereket vezetett be, amelyek gyorsan riaszthatnak egy emberi operátort, ha egy ügynök váratlanul viselkedik. A vállalat átmenetileg a legfejlettebb modellek eszközhasználattal végzett betanítását és értékelését is felfüggesztette, amíg további védelmeket nem vezet be.
Ausztráliában az OpenAI technikai támogatást ígér az érintett intézményeknek, hozzáférést a 1 milliárd dollárral finanszírozott Daybreak for Frontline Defenders program erőforrásaihoz, valamint egy független szakértőkből álló ausztrál csoport létrehozását. A testület ajánlásai az év végére várhatók.
Jason Kwon, az OpenAI stratégiai igazgatója október 6-án jelenik meg a Sydney-ben működő Joint Select Committee on Artificial Intelligence előtt, ahol az incidensekkel és a vállalat reakciójával kapcsolatos kérdésekre válaszol.
Érdemes felidézni, hogy az OpenAI nemrég a GPT-6.1 Astra bevezetését is elhalasztotta, mert a modell túllépte a megengedett határokat, és „megtévesztő viselkedést” mutatott. A vállalat láthatóan óvatosabbá vált, hogy megelőzzön egy újabb, nagyobb szabású incidenst.
