Iparági körökben valóságos kincsvadászat indult a mesterséges intelligencia korszakában feleslegessé vált, korábban leírt bányászkártyákért. Az Nvidia CMP 170HX kriptobányász kártyák rejtett memória-tartalékait egy tisztán szoftveres módosítással sikerült elérhetővé tenni. A nyílt forráskódú közösség által kifejlesztett eljárás segítségével a korábban 8 gigabájtra korlátozott modellekből akár 64 gigabájtnyi HBM2e memóriát is ki lehet nyerni. Ez a lépés alapjaiban változtatja meg a kísérletező fejlesztők lehetőségeit, hiszen az ipari szintű nyelvi modellek futtatásához szükséges memóriakapacitás eddig szinte elérhetetlenül drága volt a kisebb műhelyek számára.
A nyelvi modellek és a generatív architektúrák rohamos terjedése miatt a videokártyák piaca drasztikus átalakuláson megy keresztül. Amíg korábban a nyers számítási teljesítmény jelentette a legfőbb szűk keresztmetszetet, addig mára a VRAM mérete vált a legfontosabb tényezővé. A több tízmilliárd paraméteres rendszerek helyi futtatásához hatalmas memóriacímzésre van szükség, amit a hagyományos lakossági kártyák nem tudnak biztosítani. Ebben a környezetben váltak rendkívül értékes célponttá a korábbi kriptovaluta-bányászati eszközök, amelyeket a gyártók a bányászati hullám lecsengése után háttérbe szorítottak.
A mesterséges intelligencia éhsége éleszti újjá a félretett lapkákat
Az Nvidia CMP 170HX eredetileg 2021-ben került piacra kifejezetten Ethereum és más kriptovaluták bányászatára tervezett céleszközként. A kártya alapját ugyanaz a GA100-as Ampere architektúrájú grafikus lapka adja, amely a méregdrága, adatközponti Nvidia A100-as gyorsítókban is teljesít szolgálatot. A gyártó azonban a termékszegmentáció és a vállalati piac védelme érdekében mesterséges korlátozásokat vezetett be a lapkán. A fizikai HBM2e memóriastandardból a konfigurációtól függően mindössze 8 vagy 10 gigabájtot hagyott elérhetőnek a firmware és a biztonsági processzor beállításaiban.
A gyári korlátozások célja az volt, hogy a bányászok ne tudják a kedvező árú kártyákat adatközponti feladatokra vagy komplex gépi tanulásra használni. A kriptobányászat összeomlása után ezek a kártyák gyakorlatilag értéktelenné váltak, mivel nem rendelkeztek kijelzőkimenettel a hagyományos grafikai feladatokhoz. A szoftveres áttörés most pontosan ezt az elzárt hardveres tartalékot nyitja meg, ami teljesen új életet ad a félretett alkatrészeknek.
A GA100 chip rejtett memóriakapacitásának megnyitása
A közösség által megjelentetett CMPUnlocker nevű eszköz nem igényel fizikai átalakítást vagy forrasztást a nyomtatott áramköri lapon. A művelet során a fejlesztők kihasználták a biztonsági koprocesszor egy bizonyos konfigurációs rését, így módosítani tudták a Linuxos nyílt forráskódú illesztőprogramok működését. A módosított modul átírja a memóriavezérlő fizikai beállításait, aminek köszönhetően az operációs rendszer a teljes, 64 gigabájtos kapacitást képes címyezni a 8 gigabájtra beállított változatoknál.
A megnövelt memóriakapacitás közvetlen hatással van a nagyméretű nyelvi modellek futtatási képességeire. A HBM2e memória rendkívül széles, 1024 bites buszon kommunikál, ami kimagasló sávszélességet tesz lehetővé a memória és a számítóegységek között. Egyetlen ilyen átalakított kártyán már kényelmesen elférnek a 30-35 milliárd paraméteres összetett AI-modellváltozatok is. Ez a kapacitásbeli ugrás nagyságrendekkel felgyorsítja a helyi adatfeldolgozást és a válaszidőket, mivel elkerülhetővé válik a több különálló kártya közötti lassú adatcsere.
A szoftveres módosítás technikai megkötései és korlátai
A rendkívüli kapacitásnövekedés ellenére a megoldás nem mentes a technikai kockázatoktól és a hardveres megkötésektől. Mivel a gyárban a CMP 170HX lapkáit selejtezett, gyengébb minőségű szilícium-szendvicsekből állították össze, a feloldott memóriamodulok nem minden kártyán működnek stabilan. A tesztelők tapasztalatai szerint bár a 64 gigabájt felnyitható, a tartós terhelést és a stresszteszteket sok esetben csak 32 vagy 40 gigabájtos stabil beállítás mellett bírják a kártyák hibázás nélkül.
Ezen felül további korlátozást jelent a PCI Express csatolófelület alacsony átviteli sebessége is. A kártyák fizikai busza csupán PCIe Gen2 x4 sebességre van korlátozva szoftveresen, ami adatátviteli szűk keresztmetszetet képez a rendszermemória és a kártya között. Emellett az Ampere architektúrájú célkártya nem támogatja a legújabb FP8 vagy FP4 adatformátumokat, így kizárólag az INT8 és FP16 precizitású műveletekre alkalmas. A futtatáshoz továbbá szigorúan Linux környezetre és kikapcsolt Secure Boot funkcióra van szükség.
Piaci lavina a használt hardverek kereskedelmében
A szoftveres feltörés híre azonnali láncreakciót indított el a használt komponensek másodlagos piacán. A korábban szinte hulladékárban, alig 100-250 dollárért kínált Nvidia CMP 170HX egységek ára órák alatt elindult felfelé, és az online aukciós platformokon ma már 1000 dollár fölötti összegeket is elkérnek értük. A vásárlók vállalják a hardverlottó kockázatát abban a reményben, hogy az adatközponti vállalati kártyák árának töredékéért juthatnak óriási VRAM-kapacitáshoz.
Újságírói meglátásunk szerint ez a jelenség rávilágít arra, hogy a mesterséges intelligencia fejlesztésének jelenlegi szakasza mennyire erősen függ a rendelkezésre álló memóriától, és a fejlesztők szinte bármilyen technikai kompromisszumra nyitottak a korlátok áttörése érdekében. Bár a házilag feloldott kártyák nem nyújtanak gyári garanciát és az üzembiztonságuk is ingadozó, a független kutatók és kisvállalkozások számára a CMP 170HX váratlan menekülőutat jelent az adatközponti hardverhiány szorításából.
