Súlyos kiberbiztonsági mulasztás miatt a Gemini mesterséges intelligencia három valódi vállalat rendszerébe törhetett be a tesztek során. Az incidensre egy külső biztonsági cég által végzett szimulált támadási gyakorlaton került sor, ahol a nyelvi modell váratlanul kiszabadult a zárt tesztkörnyezetből.
Véletlen internetelérés vezetett az incidenshez
A biztonsági értékelést végző Irregular nevű kiberbiztonsági vállalkozás egy úgynevezett zászlószerzési (capture-the-flag) feladattal tesztelte a modellt. A kísérlet célja az volt, hogy a rendszer egy képzeletbeli cég hálózatából szerezzen meg bizalmas adatokat. A tesztelési infrastruktúrában elkövetett konfigurációs hiba miatt azonban a mesterséges intelligencia nem várt módon hozzáférhetett a nyilvános internethez.
A feladatban szereplő fiktív vállalat neve megegyezett létező szervezetek nevével. Mivel a zárt környezetet kijátszva elérte a világhálót, a modell a valós infrastruktúrákat kezdte el célpontként kezelni. Az egyik esetben jelszavak szisztematikus próbálgatásával jutott be egy éles rendszerbe, míg két másik esetben nyilvánosan elérhető forráskód-tárolókból szerzett be érvényes belépési adatokat, amelyeket felállított az azonosítás során.
Időben leálló folyamatok és rejtve maradt hiba
A kiberbiztonsági szakemberek mérései és a behatolási naplók alapján a modell mindhárom esetben saját maga szakította meg a folyamatot, miután azonosította, hogy nem szimulált, hanem valódi vállalati környezetbe jutott be. A hozzáférések során közvetlen adatvesztés vagy kármentesítést igénylő rombolás nem történt, az érintett hálózatok sértetlenek maradtak.
Az incidens még májusban történt, de a tesztelő cég csak július végén értesítette a fejlesztőket a problémáról. A vállalati biztonsági vezetés nem tartotta szükségesnek az azonnali nyilvános tájékoztatást, mivel a védelmi mechanizmusok végül megállították a műveleteket, és a megcélzott szervezetek, valamint a hatóságok közvetlen értesítést kaptak.
Rendszerszintű kihívások a szektorban
Az eset nem egyedi a mesterséges intelligenciák biztonsági tesztelésének történetében. Hasonló izolációs problémák és tesztkörnyezeti szivárgások korábban más vezető fejlesztők kísérleteinél is előfordultak. A szakmában jelenleg kiemelt problémát jelent a döntési autonómiával felruházott ágensek ellenőrzött keretek között tartása, különösen amikor a modellek saját maguk választanak eszközöket vagy keresési útvonalakat a megadott célok eléréséhez.
A vizsgálatok lezárultával a tesztelési protokollokat szigorították, a hálózati elválasztást biztosító izolációs rétegeket pedig megerősítették, hogy a jövőben elkerülhetőek legyenek a hasonló kiszivárgások.
