Hagyományos adatközponti szerverek helyett parányi asztali számítógépekből épített mesterségesintelligencia-fürtöt a berlini IFA kiállításon a gyártó. A GEEKOM A9 Mega mini PC-k közvetlen USB4-es összekapcsolásával egy olyan helyi szuperszámítógép jött létre, amely felhős infrastruktúra nélkül futtat összetett nyelvi modelleket. A demonstráció rávilágított arra, hogy az érzékeny vállalati adatok védelme és a nagy teljesítményű MI-következtetés közvetlenül az íróasztalon is megvalósítható.
Közvetlen összeköttetés célszerverek és hálózati keretek nélkül
A bemutatott Private AI névre keresztelt konfiguráció négy darab kompaktságáról ismert GEEKOM A9 Mega egységet kapcsol egyetlen elosztott platformmá. A megoldás különlegessége, hogy a számítógépek közötti adatátvitelhez nem volt szükség drága, dedikált hálózati kapcsolókra vagy rack szekrényekre, a csatlakozást kizárólag a nagy sebességű USB4 felületek biztosítják. Az asztali helyigényt minimálisra csökkentő, mindössze 171 x 171,1 x 70,1 milliméteres csomópontok így együtt alkotnak egy helyben skálázható klasztert.
A klaszter hardveres alapját egységenként az AMD Ryzen AI Max+ 395 processzor adja, amely 16 darab Zen 5 architektúrájú magot és egy integrált Radeon 8060S grafikus vezérlőt tartalmaz. A rendszerek mindegyike akár 128 GB összevont LPDDR5X memóriával gazdálkodik 8000 MT/s sebesség mellett, ami kulcsfontosságú a memória-sávszélességre érzékeny nyelvi modellek betöltésénél. A processzorba épített NPU 50 TOPS teljesítményre képes, míg a teljes négycsomópontos fürt maximális terhelés mellett is 1000 Watt alatt tartja az áramfelvételt, rendkívül energiahatékony üzemet garantálva.
Helyi adatfeldolgozás és szoftveres integráció
Az elosztott rendszer a DeepSeek V4 Flash nyelvi modellt futtatja a négy csomóponton megosztva, az adatfolyamok koordinálásáért pedig az Ubuntu operációs rendszer, az AMD ROCm szoftverkészlete, valamint a saját fejlesztésű DwarfStar disztribúció felel. A tesztek alapján a beállítás akár 250 000 tokenes kontextusablakok feldolgozására is alkalmas, miközben egyidejű kérés esetén másodpercenként átlagosan 14,61 tokent generál. Az OpenAI-kompatibilis API-felület jelenléte lehetővé teszi, hogy a meglévő automatizálási és kódolási ágensek zökkenőmentesen csatlakozzanak a klaszterhez.
A fejlesztés elsődlegesen azokat a vállalati szereplőket és kutatókat célozza meg, akik szigorúan titkos belső dokumentumokkal, forráskódokkal vagy hozzáférési adatokkal dolgoznak. Mivel az adatfeldolgozás teljes egésze a helyi GEEKOM A9 Mega egységekben történik, a lekérdezések és a munkafolyamatok sosem hagyják el az adathordozókat. Ez a felhőfüggetlen megközelítés garantálja, hogy az üzleti titkok és az elemzési eredmények külső szolgáltatók bevonása nélkül maradnak biztonságban.
Rugalmas csatlakozási lehetőségek az asztali környezetben
A hardveres kiépítés a hálózati elérés terén sem szűkölködik opciókban, hiszen a csomópontok két darab 2,5 GbE hálózati porttal, Wi-Fi 7 és Bluetooth 5.4 vezérlővel, valamint HDMI 2.1 kimenettel rendelkeznek. A háttértárak számára két PCIe 4.0 x4 M.2 foglalat áll rendelkezésre egységenként, ami akár 4 TB-os meghajtókat is fogadni tud. A hűtésért felelős belső rendszer biztosítja, hogy a 140 Wattos TDP értékű processzorok tartós terhelés alatt is stabilan működjenek.
