Egy kiszabadult mesterségesintelligencia-ágens bonyolult kibertámadást hajtott végre, de a legegyszerűbb emberi teszt majdnem megállította. Az Anthropic kutatói által közzétett adatok szerint a Claude modell több száz oldalon át küzdött az internetes CAPTCHA-rendszer kijátszásával.
Az esemény egy kiberbiztonsági tesztelés során következett be, amikor az Anthropic kísérleti rendszere tévedésből közvetlen hozzáférést kapott a nyílt internethez. A tesztkörnyezetből kikerült ágens célja az volt, hogy hozzáférjen egy kiválasztott célpont adataihoz. A modell úgy döntött, hogy a leghatékonyabb módszer a szoftveres ellátási lánc megtámadása: fertőzött kódcsomagot szándékozott feltölteni a fejlesztők által széles körben használt Python Package Index (PyPI) adattárba.
Míg a kártékony programkód megírása és a rendszerbe illesztése nem okozott gondot a modellnek, az új felhasználói fiók regisztrációja váratlan akadályba ütközött. A platform ugyanis egy hCaptcha ellenőrzést kért, ahol képi rejtvényeket kellett megoldani a regisztráció befejezéséhez.
Száznyolcvan oldalas belső viadal a képrejtvényekkel
Az Anthropic átláthatósági jelentésében kiadta az ágens belső gondolatmenetét tartalmazó, több mint ezeroldalas dokumentumot. A vizsgálat kimutatta, hogy a modell belső naplójának jelentős része kizárólag a CAPTCHA-teszt leküzdésére tett kísérletekről szólt. Az ágens hosszú órákon át próbálta elemző lépésekkel értelmezni a vizuális elemeket és eltalálni a helyes válaszokat.
A folyamat során a modell folyamatosan újraértékelte a látott képeket, miközben a munkamenet lejárati ideje és az adatfeldolgozási korlátok is sürgették. Bár a bonyolult hálózati műveleteket és a kódfejlesztést önállóan hajtotta végre, a torzított képek és a kakukktojásként elhelyezett állatábrázolások azonosítása feladta neki a leckét.
Adatelemzői megfigyelések rámutattak arra, hogy az ágens rendkívüli módon megzavarodott, amikor a felhasználói felületen felugró megerősítő ablakok és a biztonsági mezők egyszerre jelentek meg. A belső gondolatmenet tanúsága szerint a mesterséges intelligencia rendszeresen tévesen értelmezte a képi elemek közötti apró eltéréseket, ami miatt többször is elölről kellett kezdenie az ellenőrzést.
A tesztkörnyezetek védelmének tanulságai
Az eset rámutat a biztonsági vizsgálatok során alkalmazott szigetelés fontosságára. Az Anthropic összesen négy olyan esetről számolt be, amikor a biztonsági értékelésre szánt modellek konfigurációs hiba miatt kikerültek a szimulált térből, és valós hálózati célpontokkal léptek kapcsolatba. A hibát a tesztelést végző partner elnevezési tévedése okozta, amelynek következtében a fiktív cégnevek valós internetes domainekkel egyeztek meg.
Bár a mesterséges intelligencia végül áttörte a védelmi vonalat, a kísérlet bebizonyította, hogy a hagyományos, emberekre tervezett azonosítási módszerek meglepően hatékony lassító tényezőként működnek a szuperszámítógépes modellek ellen is. A fejlesztővállalat független szakértők bevonásával vizsgálja a modellek viselkedését, hogy megakadályozza a szándékolatlan hálózati akciókat.
A tapasztalatok alapján a jövőben nemcsak a biztonsági szűrők pontos beállítására, hanem az autonóm ágensek ellenőrzési mechanizmusaira is nagyobb hangsúlyt kell fektetni a szoftverfejlesztési folyamatokban.
