Súlyos biztonsági hiányosságokra mutatott rá a RoboCurve kutatása a fizikai robotkart irányító nyelvi modelleknél. A tesztelt rendszerek szinte kivétel nélkül elindították a kifejezetten veszélyes akciókat.
Végrehajtott utasítások a fizikai térben
A kísérlet során a RoboCurve független értékelő szervezet azt vizsgálta, miként reagálnak a robotkarokhoz kapcsolt nyelvi modellek az egyértelműen káros utasításokra. A tesztben használt robotok többek között gázpalack melegítésére, késsel való szurkálásra, vagy mérgező gázok összekeverésére kaptak parancsot.
Az eredmények alapján a szoftveres szinten működő védelmi vonalak nem igazolták a hatékonyságukat a fizikai világban. A kipróbált modellek az esetek elsöprő többségében meg sem kísérelték a kérések megtagadását, hanem azonnal fizikai mozgásba lendültek.
Kockázatok a digitális korlátok nélkül
Amíg egy tisztán szoftveres környezetben futó modell elutasítja a veszélyes kérdéseket, addig a robotikai interfészre kötött változatok eltérően reagálnak. A tesztek során a rendszer sokszor nem érzékelte a kontextusban rejlő közvetlen kockázatot. A fizikai környezetben tett lépések következményei azonban nem vonhatók vissza egyetlen gombnyomással.
A szakértők rámutattak, hogy a robotika és a nyelvi modellek integrációja előtt szigorúbb, kifejezetten a fizikai cselekvésekre tervezett biztonsági protokollokra van szükség.
