Sima falfelületre vagy íróasztalra cserélhetik a képernyőt a kevert valóság legújabb rendszerei. A japán Tohoku Egyetem kutatói által kifejlesztett BlanchTouch eljárás a jól ismert biológiai jelenséget, az ujjbegyek nyomás hatására történő elfehéredését használja fel. Ennek köszönhetően kiegészítő hardverek és felületi érzékelők nélkül válhat vezérlőfelületté szinte bármilyen hétköznapi tárgy vagy fal.
A kevert és kiterjesztett valóságot használó headsetek terjedésével párhuzamosan régóta keresik a fejlesztők a legmegfelelőbb beviteli módot. A levegőben történő gesztikulálás ugyan látványos, ám hosszabb távon rendkívül megterhelő a váll- és karmunkát tekintve. Ráadásul a légben végzett mozdulatoknál teljesen hiányzik a fizikai visszacsatolás, ami rontja a gépelési és navigációs pontosságot.
Ujjbegyfehéredés alapján azonosított érintési pontok
A BlanchTouch megoldása közvetlenül a szervezet természetes reakciójára támaszkodva hidalja át ezt a nehézséget. Amikor egy emberi ujj szilárd tárgyhoz, például faasztalhoz, betonalapozáshoz vagy gipszkarton falhoz nyomódik, a hajszálerekből átmenetileg kiszorul a vér. Ez a véráramlási változás az ujjbegy felületén jól látható elszíneződést, világosodást eredményez. A kutatócsapat felismerte, hogy ez a vizuális jel elegendő pontossággal jelzi a tényleges fizikai érintkezés pillanatát.
A rendszer működéséhez nincs szükség speciális kamerákra vagy a felületre szerelt külső szenzorokra. A kevert valósági szemüveg beépített RGB kamerái által rögzített képeket egy mélytanuláson alapuló algoritmus elemzi valós időben. A folyamat első lépésében kézkezelő szoftver határozza meg az ujjhegy térbeli pozícióját, majd a konvolúciós hálózat igazolja, hogy megtörtént-e a tényleges megnyomás.
A karfáradtság megszüntetése a kevert valóságban
A fizikai felületek bevonása alapjaiban változtatja meg a headsetek használhatóságát. Amikor a felhasználó a falra vagy a számítógépasztalra támaszthatja a kezét gépelés vagy menükezelés közben, az izomterhelés számottevően csökken. A felület természetes ellenállása pedig biztosítja azt a tapintási visszajelzést, amelyet a fizikai billentyűzetektől már megszokhattunk.
A BlanchTouch egyik legfőbb előnye a rugalmasságban rejlik. Mivel nincs szükség előzetes kalibrációra vagy speciális jelölők elhelyezésére, a technológia tetszőleges környezetben azonnal működésbe lép. A felhasználó beléphet egy ismeretlen tárgyalóba vagy szobába, és az előtte lévő ajtót vagy válaszfalat perceken belül interaktív munkaterületté alakíthatja.
Mesterséges intelligencia a headset kamerái mögött
A Tohoku Egyetem szakemberei a modellt mintegy 70 ezer mintaképen tanították be. A tanítóadatbázis összeállításánál ügyeltek arra, hogy különböző bőrtónusú, életkorú és nemű alanyok ujjnyomásait rögzítsék, szavatolva a rendszer egyetemes alkalmazhatóságát. Az algoritmus a képi zajok kiszűrése és a jellemzők élesítése után megbízhatóan különíti el a sima megérintést a tényleges nyomástól.
A fejlesztést az IEEE kiterjesztett valósággal foglalkozó nemzetközi konferenciáján mutatták be a szakmai közönségnek. A beszámolók szerint az architektúra feldolgozási késleltetése 39 milliszekundum körül alakul, ami kellően alacsony a zökkenőmentes interakció fenntartásához.
Laboratóriumi tesztek és gyakorlati pontosság
A kísérletek során 24 résztvevő tesztelte a BlanchTouch teljesítményét három eltérő anyagon: fehérre festett falon, faasztalon és betonfelületen. A mérések alapján a pozicionálási hiba átlagosan mindössze 5,33 milliméter volt. A tesztek arra is rámutattak, hogy egy körülbelül két centiméter átmérőjű virtuális gomb az érintések 95 százalékát biztonsággal regisztrálja.
Noha a jelenlegi prototípus még nem váltja ki teljesen a nagy precizitást igénylő speciális beviteli eszközöket, a hétköznapi munkafolyamatokban komoly alternatívát kínál. A fizikai környezet és a virtuális tartalom ilyen szintű összekapcsolása kényelmesebbé teheti az irodai alkalmazásokat és a digitális együttműködést.
