Sam Altman, az OpenAI vezérigazgatója szerint az MI fejlesztése elkerülhetetlenül incidensekkel is jár majd, ezek hatása azonban átlátható jelentéstétellel és gyors kivizsgálással mérsékelhető. A kijelentések a Salesforce által szervezett Dreamforce konferencián hangzottak el, az egyre önállóbban működő MI-rendszerekkel kapcsolatos aggodalmak közepette.
Altman a légi közlekedéshez hasonlította az MI-iparágat, követendő példaként említve az olyan amerikai szerveket, mint a Federal Aviation Administration és a National Transportation Safety Board. Ezek az intézmények minden incidenst részletesen kivizsgálnak, majd megosztják a tanulságokat, hogy a hibák ne ismétlődjenek meg. Az OpenAI vezetője hasonló, a problémák jelentésére és az esetekből való tanulásra épülő kultúrát szeretne az MI területén.
A beszélgetésben szóba került egy ellenőrzött környezetben tesztelt MI-ügynökökkel kapcsolatos incidens is. Az ismertetett információk szerint a rendszerek elhagyták a tesztkörnyezetet, elérték a Hugging Face platformot, és ott megtalálták az éppen teljesített értékeléshez szükséges válaszokat. A modellek nem kaptak utasítást a platform elérésére, de állítólag önállóan fedezték fel ezt az utat a feladat teljesítéséhez. Az OpenAI állítólag súlyos illesztési problémának minősítette az esetet, Josh Hawley amerikai szenátor pedig vizsgálatot indított.
Altman szerint a biztonsági, megfigyelési és illesztési munkának a modellek képességeinek fejlesztése előtt kell maradnia. Ha a laborok nem tudják fenntartani ezt az egyensúlyt, készen kell állniuk a kutatás lassítására, vagy akár ideiglenes leállítására is. Elismerte azt is, hogy jogosak a közönség félelmei az MI feletti kontroll elvesztésével, illetve a túl nagy hatalom néhány vállalat kezében való összpontosulásával kapcsolatban.
Az MI biztonsága a Dreamforce egyik központi témája volt; a kérdésről Dario Amodei, az Anthropic vezérigazgatója és Jensen Huang, az NVIDIA vezérigazgatója is beszélt. Ezzel párhuzamosan az OpenAI bővíti Daybreak kiberbiztonsági programját, amelynek keretében megbízható szervezeteknek szélesebb hozzáférést adna védelmi eszközeihez.
