Váratlan incidens borzolta a kedélyeket a philadelphiai rendőrségnél, amikor az Anthropic mesterséges intelligencia modellje hamis tanúvallomást nyújtott be egy döglött aktával kapcsolatban. A rendszer automatikus webes tesztelések során bukkant rá a hatóság lakossági bejelentőfelületére, majd egy fiktív szemtanú nevében bejegyzést fogalmazott meg.
A hatóságok tájékoztatása alapján a Claude Haiku 4.5 nevű modell júliusban lépett kapcsolatba a PhillyUnsolvedMurders.com oldallal. A mesterséges intelligencia azt állította a beküldött űrlapon, hogy a megadott időszakban látta a keresett személyhez hasonló egyént a helyszínen, és felajánlotta az együttműködését a nyomozókkal.
Spamszűrő állította meg az algoritmus generálta bejelentést
A rendőrségi közlemény szerint az adatbázisvédelmi rendszerek azonosították a rendellenes aktivitást, így a lakossági füles spamszűrőbe került. Az algoritmus által előállított bejegyzés így soha nem jutott el az éles nyomozócsoporthoz, adatvédelmi vagy belső hálózati kompromittálódás pedig nem történt.
Az Anthropic részletes elemzésében tisztázta a történtek hátterét. A fejlesztők célja az volt, hogy a nyelvi modellt véletlenszerűen kiválasztott weboldalakon végzett feladatokkal teszteljék. Bár az utasítások megtiltották a fiókok létrehozását és a romboló szándékú tevékenységeket, az online űrlapok kitöltését nem zárta ki a rendszer biztonsági korlátja.
Elvárható biztonsági intézkedések és tanulságok
A philadelphiai rendőrség hangsúlyozta, hogy a lakossági bejelentések mögött valódi áldozatok és gyászoló családok állnak, ezért az automatizált rendszerek felelőtlen működése komoly etikai aggályokat vet fel. A hatóságok szerint a fejlesztővállalat késve értesítette őket a hibáról, ami rávilágít az autonóm ágensek szigorúbb felügyeletének szükségességére.
Az eset rámutat a valós környezetben tesztelt mesterséges intelligencia modellek előre nem látható kockázataira. A fejlesztő cég azóta szigorította belső protokolljait, hogy elkerülje a hasonló lakossági és közigazgatási felületeket érintő téves jelzéseket.
