Kisméretű nyelvi modellekkel szabná át a viselhető okoseszközök piacát a Caltech kutatóiból alakult mesterségesintelligencia-startup. A PrismML által fejlesztett technológia közvetlenül a Qualcomm Snapdragon AR1 Gen 1 platformjára hozza el a helyi adatfeldolgozást, kiküszöbölve a felhős szerverektől való függőséget.
Új megközelítés a hordozható hardverek korlátaira
Az okosszemüvegek piaca évek óta komoly technológiai kihívással küzd: a kisméretű, könnyű keretekben nem áll rendelkezésre elegendő hely a nagy teljesítményű akkumulátorok és a passzív hűtési rendszerek számára. Ha egy viselhető eszköz folyamatosan távoli felhős szerverekre támaszkodik a mesterséges intelligencia funkciók működtetéséhez, a folyamatos adatátvitel gyorsan lemeríti az akkumulátort, miközben érezhető válaszidő-késést és adatvédelmi kockázatokat is okoz.
A PrismML megoldása ezen a téren jelent áttörést. A vállalat kifejezetten a Qualcomm Hexagon NPU architektúrájára optimalizálta 1-bites Bonsai modelljét. A tömörítési eljárás segítségével a rendszer négyszer több paramétert tud eltárolni ugyanakkora memóriaterületen, mint a korábbi megoldások. Ez azt jelenti, hogy egy 2 milliárd paraméteres látási és nyelvi modellt sikerült úgy beilleszteni az okosszemüvegek szűkös hardveres keretei közé, hogy közben nem terheli túl a rendszert.
Gyorsabb válaszidő és jobb adatvédelem
A helyi adatfeldolgozás nemcsak az energiafogyasztást csökkenti, hanem lényegesen folyamatosabb felhasználói élményt biztosít. A kereten futó modell több mint kétszer gyorsabban generálja a válaszokat, így a hangutasítások, a környezeti kontextus-értelmezés és a valós idejű fordítások azonnal megjelenhetnek a felhasználó előtt. A mikrofonok és a kamera adatai nem hagyják el az eszközt, ami szigorúbb adatvédelmi garanciákat nyújt.
A PrismML hosszabb távú stratégiája egy olyan nyílt súlyú, eszközökön futó mesterségesintelligencia-ökoszisztéma megteremtése, amely maximálisan kihasználja a meglévő számítási kapacitásokat. A Qualcomm-mal való együttműködés megmutatja, hogy a célirányos modelltömörítés révén a viselhető eszközök önálló, intelligens partnerekké válhatnak.
