A Marvell bemutatta az AI-rendszerekhez szánt, akár 32 TB kapacitású megosztott memóriáját, amely optikai szálon több szerverhez és GPU-hoz is kapcsolódhat. Photonic Fabric nem egy videokártya irreálisan sok RAM-mal, hanem különálló rendszer, amely ugyanahhoz a hatalmas memóriakészlethez ad hozzáférést a gyorsítóknak.
Miért fontos ez? Egy chatbotnak, AI-ügynöknek vagy nagy dokumentumokat feldolgozó modellnek meg kell őriznie a beszélgetés kontextusát. Ezt az ideiglenes memóriát KV cache-nek nevezik. Olyan, mint a modell jegyzetfüzete: nélküle az AI újra beolvassa és kiszámolja a már rendelkezésére álló információkat. Ahogy hosszabbá válnak a beszélgetések, dokumentumok és feladatok, ez a jegyzetfüzet is egyre nagyobb lesz.
Itt jelentkezik a mai probléma: a leggyorsabb memória a GPU közelében található, és rendkívül drága. Ha egy adatközpontnak több kontextusra van szüksége, gyakran további GPU-kat kell vásárolnia akkor is, ha nem a számítási teljesítmény a szűk keresztmetszet. A Marvell célja, hogy a memória bővítése ne jelentse automatikusan gyorsítók hozzáadását is.
Minden Photonic Fabric modul legfeljebb nyolc DDR5-foglalatot, 72 GB HBM-memóriát és 7,2 Tbps sebességű optikai kapcsolatokat egyesít. Tizenhat modulból akár 32 TB DDR5-öt és közel 1 TB HBM-et kínáló rendszer építhető, amelyet több, akár külön rackben működő szerver is megoszthat. Az optikai szál azért lényeges, mert olyan távolságokon is gyors adatátvitelt tart fenn, ahol a hagyományos rézkábelek már korláttá válnak.
A Marvell szerint a megoldás több KV cache-t tarthat a GPU-k közelében, és ugyanabban az adatközpontban akár háromszorosára növelheti a generált tokenek számát. Ez nem jelenti azt, hogy például a ChatGPT válaszai automatikusan háromszor gyorsabbak lesznek: inkább azt, hogy az infrastruktúra üzemeltetője többet hozhat ki a már megvásárolt GPU-kból, különösen a hosszú kontextusú modelleknél.
Az NVIDIA ugyanezt a problémát más megközelítéssel kezeli. BlueField-4 STX platform rendkívül gyors flashalapú tárolóréteget használ az AI-kontextushoz. A Marvell DDR5- és HBM-memóriában, optikai kapcsolatokon át tartja a kontextust; az NVIDIA egy újfajta adatközponti tárolási megoldásba helyezi azt. Az egyik a nagyon gyors megosztott memóriát, a másik a nagy kapacitást és a specializált tárolást helyezi előtérbe.
Mindez a memóriahiány időszakában történik. A Samsung DDR5-gyártókapacitást csoportosít át az AI-hoz szükséges HBM-re, ennek hatása pedig már a PC-k és telefonok dráguló memóriáján is érződik. A Marvell nem oldja meg a memóriahiányt, de igyekszik mérsékelni a pazarlást: kevesebb GPU-t kellhet kizárólag a bennük lévő HBM mennyisége miatt megvásárolni, miközben több memória jut oda, ahol valóban szükség van rá.
Ez egyelőre adatközponti technológia, nem közvetlenül megrendelhető termék. Jól jelzi azonban az iparág irányát: a következő években az AI teljesítménye nem csak a GPU-tól függ majd, hanem attól is, milyen gyorsan képes a modell felidézni, mit végzett néhány másodperccel korábban.
