A mesterséges intelligencia ágensek sebességének és költséghatékonyságának növelése teljesen új irányt vett a piacon.
Az Amazon Web Services kísérleti részlege, a Strand Labs hivatalosan is közzétette a legújabb nyílt forráskódú fejlesztését, a Strands Decider 2B modellt. A körülbelül kétmilliárd paraméteres rendszer nem próbál hosszú magyarázatokat vagy megfogalmazásokat generálni, helyette közvetlenül a fejlesztők által megadott lehetőségek közül választ, mindegyikhez egy-egy megbízhatósági pontszámot rendelve.
Gyorsabb és olcsóbb döntéshozatal
A nagy nyelvi modellek működtetése jelentős erőforrást és időt igényel, különösen akkor, ha egy összetett rendszerben csupán egyszerű ellenőrzésekre van szükség. Amikor egy ágensnek azt kell eldöntenie, hogy elindítson-e egy adott eszközt vagy melyik útvonalat válassza, a teljes szöveggenerálás felesleges késleltetést okoz. A döntési modellek ezzel szemben egyetlen lépésben adják meg a választ, így a folyamat ideje drasztikusan lecsökken.
A tesztadatok alapján a rendszer helyi környezetben, például egy laptoppal vagy egy közepes kártyával is 100-150 milliszekundum alatti válaszidőre képes. A modell az Alibaba Qwen alaptípusára épül, és az Apache 2.0 licenc alatt ingyenesen letölthető, valamint tetszőlegesen futtatható.
Versenytársak szorításában a piacon
A TypeSafe AI által útjára indított Jev modell hatására rövid idő alatt szinte elárasztották az internetet a hasonló felépítésű rendszerek. Az Amazon megoldása elsősorban abban különbözik a riválisoktól, hogy a teljes képzési kód, a súlyok és a dokumentáció is nyíltan elérhetővé vált. Ez lehetővé teszi a vállalatok számára, hogy saját infrastruktúrájukon futtassák a döntési mechanizmusokat anélkül, hogy külső API-hívásoktól függnének.
A szakemberek szerint a legnagyobb kihívást most a pontosság és a kontextusértés megtartása jelenti a gyorsaság mellett. A Strands Decider 2B megjelenése jól mutatja, hogy az AI-ágensek architektúrája átalakulóban van: a nagyméretű generatív modellek megmaradnak a komplex szövegírásra, míg a napi operatív döntéseket a háttérben futó, kisméretű célmodellek hozzák meg.
