A nagy nyelvi modellek tanítási határait átlépve indít új fejlesztési hullámot a Google korábbi szakembereiből álló kutatócsapat. A Deep Cogito 43 millió dolláros A sorozatú befektetési kört zárt le, amellyel a vállalkozás teljes külső forrásbevonása meghaladja az 56 millió dollárt. A San Franciscó-i székhelyű startup az előtanítás helyett a modellek utólagos finomhangolására, a megerősítéses tanulásra és az önfejlesztő rendszerekre összpontosít.
Google-veteránok a Deep Cogito alapítói székében
A céget Drishan Arora és Dhruv Malrana hozta létre, akik korábban a Google mesterséges intelligenciára épülő keresési megoldásain dolgoztak. Arora a Gemini keresési utótanítási folyamatait irányította, míg Malrana az AI-alapú keresési funkciók termékfejlesztését vezette. Tapasztalataik alapján arra a következtetésre jutottak, hogy a mesterséges intelligencia következő fejlődési szakasza nem a még nagyobb adathalmazok bekebelezésén, hanem a meglévő tudást strukturáló utótanításon múlik.
Az előtanítás megadja a modellnek az alaptudást és a nyelvi megértést, míg az utótanítás határozza meg, hogy a rendszer miként képes összetett problémákat megoldani és logikai következtetéseket levonni. A két alapító szerint az emberi adatok halmozása előbb-utóbb korlátokba ütközik, ezért olyan algoritmusokra van szükség, amelyek képesek saját teljesítményüket elemző módon javítani.
A tőkebevonás háttere és az iparági támogatók
A most lezárt finanszírozási kört a TQ Ventures vezette. A befektetők között megtalálható a Benchmark, a Nexus Venture Partners, az Atreides Management, a South Park Commons, valamint a felhőbiztonsági piacon ismert Zscaler. Utóbbi nem csupán pénzügyi támogatást nyújt, hanem ügyfélként és stratégiai partnerként is együttműködik a kutatólaborral.
A frissen megszerzett 43 millió dollárt a mérnöki és kutatási csapat bővítésére, az infrastruktúra skálázására, valamint a vállalati partnerekkel való szorosabb együttműködésre fordítják. A piacon jelenleg komoly igény mutatkozik az olyan megoldások iránt, amelyek lehetővé teszik a cégek számára, hogy saját, bizalmas adataik felhasználásával hozzanak létre szakértői AI-modelleket.
Rekurzív önfejlesztés és a folyamatalapú felügyelet
A Deep Cogito kutatásai két meghatározó pillérre épülnek. Az egyik az úgynevezett Iterált Desztilláció és Erősítés eljárása, amelynek során a modell plusz számítási kapacitást kap egy-egy válasz kidolgozásához, majd a jobb minőségű eredményeket visszaépíti a saját paramétereibe. Ez a módszer lehetővé teszi, hogy a rendszer túlmutasson az eredeti tanítóadatok korlátain.
A másik kulcsfontosságú megközelítés a folyamatalapú felügyelet alkalmazása a megerősítéses tanulás során. A hagyományos rendszerek csupán a végső választ értékelik, míg a Deep Cogito architektúrája a gondolatmenet egyes lépéseit külön-külön osztályozza. Ennek köszönhetően a modell kevesebb felesleges vagy téves logikai lépést tesz meg, ami érdemben csökkenti a hardveres erőforrás-igényt és a tokenhasználati költségeket.
A nyílt kódú nyelvi modellek szerepe a piacon
A vállalkozás nem kizárólag zárt rendszerekben gondolkodik. A csapat korábban már megjelentette a nyílt súlyozású Cogito modellcsaládot, amelynek legfrissebb változata a 671 milliárd paraméteres Cogito v2.1. A független mérések szerint ez a modell a maga kategóriájában kiemelkedő hatékonyságot mutatott a számítási költségek és a logikai teljesítmény arányát tekintve.
Az iparági várakozások szerint a poszt-tréning piaca a következő években a szoftverfejlesztés egyik legértékesebb szegmensévé válhat. Ahogy az alaptudást nyújtó óriásmodellek árucikkké válnak, a valódi versenyelőnyt az a réteg jelenti majd, amely képes ezeket a rendszereket önálló tanulásra és vállalati feladatok precíz elvégzésére felkészíteni.
