A nyilvános tesztek hitelességi válsága
Egymást érik a piacon az új mesterséges intelligencia modellek, mégis egyre nehezebb megállapítani valódi teljesítményüket. A kockázati tőkések által támogatott Vals AI egy független, szakterület-specifikus tesztelési rendszert épít a probléma áthidalására. A vállalkozás célja, hogy a fejlesztők önkényes pontszámai helyett tárgyilagós, piaci alapú mérőszámokat adjon a vállalati és állami megrendelők kezébe.
A mesterséges intelligencia fejlődésével a korábbi akadémiai tesztsorozatok elveszítették korábbi szerepüket. A nyílt adatbázisok anyagai könnyen bekerülnek a modellek tanítóadatai közé, így az algoritmusok sokszor csak bemagolják a válaszokat ahelyett, hogy valódi feladatmegoldó képességet mutatnának. Egy nyilvános ranglistát vezető rendszer a gyakorlatban, összetett vállalati környezetben gyakran alulteljesít.
Ez a torzulás komoly üzleti kockázatot jelent azoknak a cégeknek, amelyek munkafolyamataik automatizálására keresnek megoldást. Ha egy modell hibázik egy jogi elemzés, pénzügyi elemzés vagy szoftverfejlesztési feladat során, az dollármilliókba kerülhet az intézményeknek.
Zárt mérések és gyakorlati feladatok
A San Franciscó-i székhelyű Vals teljesen új megközelítést alkalmaz a teljesítménymérésben. A startup nem hozza nyilvánosságra a tesztekhez használt konkrét feladatsorokat, megakadályozva ezzel, hogy a fejlesztők célzottan a vizsgára készítsék fel modelljeiket. A mérések során nem elméleti kérdéseket tesznek fel, hanem valódi, több lépésből álló iparági problémákat szimulálnak.
A tesztelési folyamatban szakértők működnek közre a jog, a finanszírozás, a kiberbiztonság és a szoftverfejlesztés területéről. Az automatizált értékelési rendszerek mellett az ő tapasztalatuk garantálja, hogy az eredmények a professzionális elvárásokhoz igazodjanak. A vállalat emellett a modellek lehetséges kockázatait is vizsgálja, beleértve a kiberbiztonsági fenyegetéseket, a mentálhigiénés hatásokat és a nemzetközi humanitárius jogi szempontokat.
A független mérések iránti igény jól mutatja, hogy az AI-piac a puszta demonstrációktól az üzleti alkalmazhatóság fázisába lépett. A vásárlók és a befektetők már nem elégednek meg a marketinganyagokban szereplő számokkal, hanem objektív bizonyítékot követelnek a hatékonyságról.
Bevételrobbanás és állami megbízások
A fejlesztést az Andreessen Horowitz által vezetett 40 millió dolláros A sorozatú tőkebevonás támogatja, ami 400 millió dollárra értékelte a startupot. A cég bevételei az elmúlt évben a nyolcszorosára növekedtek, a munkatársak száma pedig nyolcról huszonötre bővült. A növekedési ütem miatt a vállalkozás új irodába költözik, és további szakemberek felvételét tervezi.
A Vals AI szolgáltatásai iránt nemcsak a magánszektor, hanem az állami szervek is érdeklődnek. A cég külön értékelési programot indított a szövetségi ügynökségek számára, megteremtve a biztonságos és átlátható állami AI-bevezetés alapjait. Az iparági szereplők várakozásai szerint a független tesztelés a szoftverértékesítés elengedhetetlen elemévé válik a következő években.
