Költséghatékony otthoni AI-szerver épült egy korábban adatközpontokban szolgáló vállalati videokártyából. Egy hardverrajongó mindössze 266 dolláros ráfordítással szerelt fel egy használt Nvidia Tesla V100-as modellt a hagyományos asztali gépedbe.
Az AI-fejlesztés és a helyi nyelvi modellek futtatása drága hobbi, ha valaki a bolti lakossági kínálatból válogat. A legújabb csúcskategóriás gépek ára a csillagokat verdesi, míg a belépőszintű hardverek memóriája túl kevés a komolyabb feladatokhoz. A használt adatközponti piacon viszont megjelentek azok a korábbi zászlóshajók, amelyeket a nagy technológiai cégek már selejteznek. Egy technikai vénájú építő kihasználta ezt a piaci rést, hogy komoly számítási kapacitást vigyen a saját dolgozószobájába.
32 gigabájt VRAM töredékáron a használt piacról
A kísérlet alapját képező Nvidia Tesla V100 egy 32 GB HBM2 memóriával szerelt gyorsítókártya. A korábban többezer dollárért árult vállalati hardver most 266 dolláros áron került beépítésre, ami messze elmarad a hasonló memóriakapacitású lakossági kártyák árazásától. A projekt gazdája (Oscar Molnar) a hatalmas memóriasávszélességre épített, ami elengedhetetlen a nagyobb méretű mesterséges intelligencia modellek zökkenőmentes betöltéséhez és futtatásához.
A megvalósítás azonban nem volt teljesen zökkenőmentes, mivel a Tesla V100 nem rendelkezik aktív hűtőventilátorokkal. Az adatközponti szerverekben a légáramlást a házba épített nagyteljesítményű külső ventilátorok biztosítják. Otthoni környezetben a kártya másodpercek alatt túlmelegedne, ezért az építőnek egyedi hűtési megoldást kellett adaptálnia. A csatlakoztatott ipari ventilátor ugyan nyomja a levegőt, de a zajszintje egy fűnyíró hangjához hasonlítható.
Másodpercenként 32 token a dolgozószobában
A zajos ventilátor és az egyedi tápellátási átalakítások meghozták az eredményt a gyakorlatban. A rendszer képes egy 27 milliárd paraméteres AI-modellt futtatni másodpercenként 32 tokenes válaszadási sebességgel. Ez a teljesítmény elegendő ahhoz, hogy a helyi nyelvi modell valós időben, várakozási idő nélkül generálja a válaszokat az összetett kérésekre is. A 32 GB VRAM ráadásul lehetővé teszi a modellek kvantálás nélküli, vagy csak minimálisan tömörített futtatását, ami megőrzi az AI pontosságát.
Az ilyen jellegű átalakítások rávilágítanak arra, hogy a gépi tanulással foglalkozó fejlesztők miként tudják megkerülni a méregdrága lakossági felsőkategóriát. A használt adatközponti kártyák vásárlása kompromisszumokkal jár – mint a garancia hiánya, a magas áramfogyasztás és az extrém zaj –, de a nyers számítási teljesítményt tekintve verhetetlen ár-érték arányt mutatnak.
A használt enterprise hardverek elérhetősége
A használt Nvidia Tesla V100 és a hasonló enterprise gyorsítókártyák nemcsak az amerikai, hanem a magyarországi és európai használtpiacon is egyre gyakrabban bukkannak fel a nemzetközi aukciós portálok közvetítésével. A hazai fejlesztők és hobbisták számára a legnagyobb kihívást a hűtés mellett a megfelelő tápellátás és a PCIe-kártya fizikai elhelyezése jelenti, mivel a szerverkártyák nem a szokványos ATX számítógépházak belső elrendezéséhez készültek.
Mire számíthat, aki vállalati videokártyát választ?
Az adatközponti célhardverek otthoni újrahasznosítása a jövőben még népszerűbbé válhat, ahogy az újabb adatközponti generációk leváltják a korábbi architektúrákat. A folyamatos frissítések miatt a piacon maradó V100-as és hasonló kapacitású modellek tartós alternatívát nyújtanak azoknak, akiknek nagy VRAM-kapacitásra van szükségük, de nem kívánják kifizetni a legújabb generációs csúcskártyák többszörös árát.
A projekt részletes leírását itt találjátok angol nyelven.
