Meglepő stratégiai döntéssel nem az Nvidia legújabb önálló processzorait, hanem az AMD EPYC platformját választotta az OpenAI.
A mesterségesintelligencia-kutatással és -fejlesztéssel foglalkozó OpenAI a saját tervezésű, kifejezetten nyelvi modellek futtatására szánt Jalapeño ASIC gyorsítóinak kiszolgálására az AMD EPYC Turin processzorai mellett tette le a voksát. A döntés hátterében a kockázatok csökkentése és a gyors piacra lépés áll. Noha az OpenAI és az Nvidia között továbbra is szoros a partnerség, a hardveres infrastruktúráért felelős vezetés szerint a pragmatikus szempontok felülírták a szorosabb beszállítói kötődést.
Kockázatkerülés és érett technológia a cél
A saját fejlesztésű célicsomagok mellé olyan gazdagépekre volt szükség, amelyek azonnal, megbízhatóan és magas memóriakapacitás mellett képesek kiszolgálni a hálózati és adatfeldolgozási feladatokat. Az OpenAI szakemberei szerint az Nvidia standalone Vera processzora érettségi szintben még elmarad attól, amit a gyártási és üzemeltetési tempó megkövetel. Az AMD EPYC Turin chipjei ezzel szemben már bizonyítottak a partnerek rendszereiben, így használatuk lényegesen kisebb technikai kockázatot jelentett a projekt szoros ütemtervében.
A rendszerarchitektúra kialakításakor a Jalapeño egységek mellé kétcsatornás AMD Turin processzorok kerültek, egységenként 1,5 terabájt rendszermemóriával kiegészítve. Ez a kiépítés garantálja, hogy a nagy nyelvi modellek következtetési folyamatai során ne alakuljon ki szűk keresztmetszet a központi feldolgozóegység és a célszilícium között.
Az Arm architektúra ígérete és a valóság
Az iparágban jelentős figyelem kíséri az Arm-alapú, kifejezetten ágensalapú feladatokra optimalizált processzorok térnyerését. Az Arm saját AGI architektúrája és az Nvidia Vera egyaránt azt ígéri, hogy a komplex döntési és logikai láncokat lényegesen hatékonyabban kezelik, mint a hagyományos x86-os megoldások. Ezek a teljesítménybeli előnyök azonban egyelőre jórészt belső becsléseken és szimulációkon alapulnak, nem pedig valós üzemi tapasztalatokon.
Az OpenAI mérnöki csapata ezért a kísérletezés helyett a garantált teljesítményt választotta. A gyorsítók megalkotásánál a fő szempont az volt, hogy a lehető legkevesebb energiafelhasználás mellett a legnagyobb számítási kapacitást érjék el a meglévő adatközponti keretek között. Ebben a struktúrában az x86-os AMD platform stabilitása és az iparági tapasztalatok többet nyomtak a latban, mint a papíron kedvezőbb, de még éretlen alternatívák.
A Jalapeño szerepe a számítási kapacitásban
A saját chip fejlesztése nem jelenti azt, hogy a vállalat teljesen elszakadna a külső beszállítóktól. A modellek betanítását továbbra is nagy teljesítményű grafikus gyorsítókon végzik, míg a Jalapeño feladata kizárólag a már betanított modellek futtatása és a felhasználói kérések kiszolgálása. A rendszer segítségével az OpenAI jelentősen csökkentheti az egy kérésre jutó energiafogyasztást és a válaszidőt, ami a növekvő felhasználói bázis mellett elengedhetetlen a fenntartható működéshez.
A hardveres infrastruktúra diverzifikációja azt mutatja, hogy a legnagyobb AI-fejlesztők már nem egyetlen beszállító ökoszisztémájára építenek, hanem a feladathoz legalkalmasabb elemekből állítják össze saját rendszereiket.
