A Meta és az Apple meglepő partnerség keretében tette helyileg futtathatóvá a legújabb nyílt AI-modellt.
A közösségi hálózatot üzemeltető vállalat hivatalosan is kiadta a Muse Spark Open nevű nyílt súlyozású mesterséges intelligencia modellt. A fejlesztés különlegessége, hogy az Apple keretrendszerére optimalizálva akár egyetlen asztali munkaállomás-együttesen is futtatható, külső felhős szerverek igénybevétele nélkül.
Összekapcsolt munkaállomásokon fut a csúcsmodell
A Muse Spark Open összesen 816 milliárd paraméterrel rendelkezik, amelyből tokenenként 42 milliárd aktív. A modell 1 milliós tokenkontextust kezel, és kifejezetten összetett kódolási feladatokra, valamint autonóm ágensi folyamatokra tervezték. A helyi futtatáshoz azonban komoly hardveres erőforrásra van szükség.
A rendszer az Apple nyílt forráskódú MLX gépi tanulási keretrendszerét használja, amely kihasználja az Apple Silicon egységes memória-architektúráját. A teljes modell futtatásához megközelítőleg 1 terabájt memóriára van szükség, ami két vagy négy összekapcsolt Mac Studio számítógéppel biztosítható. Az eszközök a Thunderbolt 5 kapcsolaton keresztül egyetlen közös rendszert alkotva képesek feldolgozni az adatokat.
A felhőfüggetlen fejlesztés lehetőségei
A helyben futtatott mesterséges intelligencia kiemelkedő adatvédelmi biztonságot nyújt a fejlesztők és vállalkozások számára. Mivel a feladatok nem továbbítódnak külső adatközpontokba, az érzékeny forráskódok és üzleti adatok teljes mértékben a saját fizikai hardveren maradnak. A tesztek során a modell képes volt önállóan szoftveres hibákat javítani és videós szerkesztési munkálatokat koordinálni.
A nyílt súlyok letölthetők a népszerű fejlesztői platformokról, így a vállalati felhasználók saját infrastruktúrájukon is tesztelhetik a képességeit.
