Elméleti fenyegetések helyett a mesterséges intelligencia már ma tapasztalható pszichés ártalmait méri fel a Circuit Breaker Labs.
Miközben a közbeszédet és az iparági vitákat gyakran a mesterséges intelligencia távoli, egzisztenciális veszélyei uralják, a gyakorlatban a nyelvi modellek már most is valós mentális károkat okozhatnak a sérülékeny felhasználóknak. A Circuit Breaker Labs nevű kezdeményezés célja, hogy feltárja és megelőzze ezeket a pszichológiai kockázatokat, különös tekintettel a gyermekekre és a fiatalokra.
Virtuális töréstesztek a modellek védelmében
A vállalat olyan szimulációs eljárást fejlesztett ki, amely a gépjárműiparban használt töréstesztekhez hasonlóan működik. A rendszer százezernél is több valósághű, éles helyzetet szimulál, hogy próbára tegye az algoritmusok válaszreakcióit a kockázatos vagy érzelmileg megterhelő szituációkban.
Az ellenőrzési folyamat során a Circuit Breaker Labs közvetlenül a megrendelő modelljeinek API-végpontjához csatlakozik, így a bizalmas adatok nem hagyják el az eredeti környezetet. A tesztek során a rendszer az alábbi szempontokat elemzi:
- Extrém vagy manipulatív nyelvi mintázatok felismerése
- Klinikai és pszichológiai szempontból kockázatos párbeszédek kezelése
- Sérülékeny korosztályok, például gyermekek védelme a káros tartalomtól
Miért elengedhetetlen a külső audit?
A mesterséges intelligenciát fejlesztő cégek saját belső biztonsági mérései ritkán nyújtanak teljes védelmet, hiszen az elfogultság és a vakfoltok jelenléte szinte elkerülhetetlen. A független ellenőrzés nemcsak a termékfejlesztőknek ad pontos képet a hiányosságokról, hanem a jogi és szabályozói megfelelést is megkönnyíti.
A pszichés biztonság garantálása különösen kritikus a mentálhigiénés és oktatási alkalmazások esetében. Ha egy algoritmus nem képes felismerni a krízishelyzeteket vagy téves tanácsot ad, az közvetlen veszélyt jelent a felhasználó egészségére. A független mérésekből származó adatok leleplezik a rejtett hibákat, mielőtt a modell éles használatba kerülne.
