A képek szöveggé alakítása helyett közvetlenül a vizuális információk segítségével végzi el a komplex gondolkodási folyamatokat az Elorian újonnan bejelentett modellje. A Palo Alto-i székhelyű startup első modellje, a Glimpse, a megszokott rendszerekkel ellentétben nem egyetlen elemzési lépésben dolgozza fel a bemeneti képeket, hanem a gondolkodási folyamat során folyamatosan visszatér a nyers képi adatokhoz.
Vizuális vázlattömbbel a pontosabb válaszokért
A hagyományos multimodális modellek a vizuális bemenetet egyszeri beolvasás után szöveges kódokká alakítják, majd kizárólag a nyelvi tartományban folytatják a következtetést. Az Elorian által kifejlesztett architektúra ezzel szemben úgynevezett vizuális vázlattömböt használ. Ez a megoldás lehetővé teszi, hogy a rendszer a feladat megoldása közben bizonyos képrészleteket kivágjon, felnagyítson, videókészletekből konkrét képkockákat emeljen ki, vagy méréseket végezzen a képpontokon.
A Google DeepMind korábbi kutatója által alapított vállalat célja a komplex elrendezések, például kapcsolási rajzok, hálózati térképek és tudományos ábrák pontos értelmezése. Az eddigi tesztek alapján a Glimpse a tudományos grafikonok elemzésében és a rövid videók feliratozásában felülmúlja a GPT-6 Astra teljesítményét is.
Költséghatékony architektúra és vállalati fókusz
A modell különlegessége, hogy a versenytársak méretéhez képest lényegesen kevesebb paraméterrel és alacsonyabb képzési erőforrásigénnyel érte el az eredményeket. Az Elorian kutatása szerint a képi struktúra közvetlen használata hatékonyabbá teszi a térbeli problémamegoldást, mint a tisztán nyelvi tokenekre épülő megközelítések.
A fejlesztés jelenleg kutatási előnézetként érhető el az API-hozzáféréssel rendelkező partnerek számára.