Szövegenerálás helyett villámgyors döntésekre tervezték a TypeSafe AI legújabb mesterséges intelligenciáját, a Jev modellt. A fejlesztés a cég első úgynevezett System One típusú architektúrája, amely szakít a hagyományos nagy nyelvi modellek (LLM) működési elvével. Míg a megszokott rendszerek egymást követő szavakkal válaszolnak, a Jev nem képes és nem is akar beszélgetni a felhasználóval.
A modell kizárólag strukturált állítások kiértékelésére és valószínűségi döntések meghozatalára épül. Az architektúra mögött az az elgondolás áll, hogy a szoftveres munkafolyamatok jelentős részében nincs szükség hosszas körmondatokra vagy indoklásokra. Amikor egy programnak gyorsan el kell döntenie egy kérés besorolását vagy érvényességét, a szöveges válasz generálása és annak utólagos feldolgozása felesleges időveszteséget jelent.
Párhuzamos feldolgozás és radikális hatékonyság
A megszokott chatbotos felületekkel ellentétben a Jev felé intézett kérések a háttérben futó programkódokból érkeznek. A rendszer nem tart fenn globális memóriát vagy beszélgetési előzményeket, minden egyes lekérdezést önálló állapotként kezel. A megadott adatok alapján a modell konkrét kérdésekre ad választ, minden opcióhoz egy-egy megbízhatósági értéket rendelve.
A mérések alapján az architektúra 193-szor gyorsabb válaszidőre képes a vezető piaci modellekhez képest, miközben az üzemeltetési költsége akár 445-ször alacsonyabb lehet. Ez annak köszönhető, hogy a modell az elágazó kérdéseket párhuzamosan dolgozza fel, és nem pazarol erőforrást a következő karakter kiszámítására. A mérnöki megközelítés közvetlenül a programozói logikát szolgálja ki, így az eredmények azonnal felhasználhatók a szoftverkódban.
Különleges feladatkör a fejlesztési láncban
A Jev nem a meglévő összefoglaló vagy elemző rendszerek leváltására készült, hanem a komplex mesterségesintelligencia-rendszerek előszűrőjeként funkcionál. Segítségével a nagy erőforrás-igényű modellek meghívása előtt elvégezhető az adatok osztályozása, a jogosultságok ellenőrzése vagy a válaszutak kiválasztása.
Az új megközelítés választ ad arra a problémára, hogy a modern alkalmazásokban a párbeszédre optimalizált modellek gyakran túl lassúnak és költségesnek bizonyulnak a legegyszerűbb logikai döntéseknél. A célszerszámként kifejlesztett architektúra jelenléte a szoftverarchitektúrákban jelentősen csökkentheti az összetett rendszerek válaszidejét.
