Egy AI-chatbottal folytatott beszélgetés nem ugyanaz, mint egy fiókban őrzött magánnapló: egy floridai ügy jól mutatja, hogy az elküldött üzeneteknek nagyon is kézzelfogható következményei lehetnek. A 30 éves, Bonita Springs-i Carli Michelle Hellert letartóztatták, miután állítólag a Claude, az Anthropic AI-asszisztensének egy Lee megyei seriffhivatal elleni fegyveres támadásról írt. A nyomozókra hivatkozó helyi sajtóbeszámolók szerint az üzeneteket a platform biztonsági rendszerei jelölték meg, majd emberi ellenőrzésre küldték. Az ellenőrző csapat ezt követően értesítette a hatóságokat.
A Neowin szerint a nő szeptember végén azt írta, hogy tüzet akar nyitni a hivatal épületére. Későbbi üzeneteiben állítólag azt is közölte, hogy fegyvert szerzett, és az eseményt „utolsó esélyként” írta le, mielőtt cselekedne. A rendőrök az otthonánál intézkedtek, és incidens nélkül őrizetbe vették. A fegyvervásárlás állítása a beszélgetésről szóló beszámolóban szerepel, de a rendelkezésre álló információk nem igazolják, hogy a nyomozók valóban találtak-e nála fegyvert.
Az ügy lényeges eleme, hogyan jutott el a beszélgetés a rendőri intézkedésig. A beszámolók szerint az automatizált rendszerek potenciálisan veszélyesnek minősítették az üzeneteket, majd egy emberi értékelő vizsgálta meg őket, és értesítette a hatóságokat. A forrás szerint a nő később azt mondta, naplóként használta a chatbotot. Az eset arra figyelmeztet, hogy az AI-asszisztensnek küldött üzeneteket emberek is ellenőrizhetik, és hitelesnek ítélt fenyegetés esetén a hatóságokhoz is továbbíthatják őket. Ebből ugyanakkor nem következik, hogy minden erőszakkal kapcsolatos beszélgetés automatikusan bejelentést vált ki.
Hellert Floridában a „másodfokú bűntett” kategóriájába sorolt bűncselekménnyel vádolják a 836.10-es paragrafus alapján, amely írásban vagy elektronikusan közölt erőszakos fenyegetésekre vonatkozik. A vádemelés nem jelent elmarasztaló ítéletet; a büntetőjogi felelősségről a bíróság dönt.
Az AI-szolgáltatásokban az ilyen helyzetek kezelésére több biztonsági korlát is működik.
