A helyben futtatható mesterséges intelligencia új szintre léphet az apró nyelvi modelleknek köszönhetően. A PrismML nevű fejlesztőműhely bemutatta legújabb megoldását, amely közvetlenül okostelefonokon és hordozható számítógépeken teszi lehetővé az eddig csak adatközpontokban elképzelhető összetett feladatok elvégzését.
Drasztikus méretcsökkenés minőségi kompromisszum nélkül
Az új Bonsai 2 27B nyelvi modell az Alibaba Qwen3.8 27B architektúrájára épül. A fejlesztőknek sikerült a modell méretét mindössze 5,9 gigabájtra csökkenteniük, ami kilencszeres tömörítést jelent az eredeti változathoz képest. Ez a kompakt méret lehetővé teszi, hogy a rendszer lakossági hardvereken, például átlagos laptopokon vagy okostelefonokon futhasson, felhős kapcsolat nélkül.
A tömörített modellek esetében korábban komoly gondot jelentett a teljesítmény és a logikai képességek jelentős romlása. A mérések szerint az új megoldás a szintetikus teszteken az eredeti, teljes precizitású modell teljesítményének 98,2 százalékát képes hozni. Ez az arány azt jelenti, hogy a kódolási, érvelési és hosszú távú eszközkészlet-használati feladatokban nem történik érdemi visszalépés.
A helyi feldolgozás előnyei a mindennapokban
A technológiai megközelítés lényege, hogy megszünteti a felhőalapú rendszerekre való folyamatos támaszkodást. A helyben futó mesterséges intelligencia nemcsak gyorsabb válaszidőt garantál, hanem az adatok védelmét is biztosítja, mivel a felhasználói információk nem hagyják el az adott eszközt. A modell kis erőforrásigénye ráadásul az energiafogyasztást is drasztikusan mérsékli.
- Közvetlen adatfeldolgozás az eszközön, internetkapcsolat nélkül.
- Alacsonyabb válaszidő és érezhetően gyorsabb folyamatkezelés.
- Akkumulátorkímélő működés a hatékonyabb számítási struktúrának köszönhetően.
A fejlesztés különösen az olyan területeken hozhat áttörést, mint a mobil kódolás, a lokális kép- és szövegelemzés, vagy a hordozható okoseszközök intelligens funkcióinak bővítése. A PrismML modelljei ezzel alapjaiban változtathatják meg, miként férünk hozzá a nagy teljesítményű mesterséges intelligenciához a mindennapi munka és digitális élet során.
