Az Apple és a Meta egy asztali gépeken is futtatható közös projekten dolgozott: egy 816 milliárd paraméteres AI-modell két Mac Studión való futtatásán. Muse Spark Open, amelyet a Meta október 15-én adott ki, az Apple-lel közösen optimalizálták az M5 Ultra processzorhoz. Az adatvédelemről és hirdetésekről folytatott korábbi viták után a két vállalat most éppen egy helyben adatokat feldolgozó AI érdekében működik együtt.
A szükséges konfiguráció ugyanakkor új megvilágításba helyezi az „asztali AI” kifejezést: két Mac Studio, egyenként 512 GB egységes memóriával, Thunderbolt 5 kapcsolattal. Ezt a memóriát a GPU is használhatja, ami az Apple Silicon architektúra egyik előnye az új, M5 Ultrás Maceken.
A modellt így is 4 bites reprezentációra kell csökkenteni, ezt az eljárást kvantálásnak nevezik. Így körülbelül 493 GB helyet foglal, szemben a natív formátum több mint 1,6 TB-os méretével. A feldolgozás közbeni többlet memóriaigény magyarázza, miért nem elég egyetlen 512 GB-os Mac.
Az Apple az MLX szoftverével elért válaszgenerálási sebesség eredményeit is közzétette:
- Két Mac Studio: a tesztelt gyorsabb konfigurációban körülbelül 25 token másodpercenként;
- Négy Mac Studio: körülbelül 37 token másodpercenként.
A tokenek a modell által feldolgozott szövegrészletek, ezért nem azonosak a szavak számával. Az eredmények az Apple 8192 tokenes kontextussal végzett tesztjeiből származnak; hosszabb dokumentumok és más feladatok eltérő teljesítményt hozhatnak.
Mire használható ténylegesen ez az AI? A Meta szerint helyben futtatva iOS-alkalmazás módosítására használta, hibajavítással és új funkciók hozzáadásával együtt. Egy másik bemutatóban a modell DaVinci Resolve-ban dolgozott: videóanyag képkockáit elemezte, majd függőleges klipekhez választott ki részleteket. Ezek jóval beszédesebb példák annál, mint hogy meg lehet nyitni még egy chatablakot.
Egy sok kóddal vagy belső dokumentummal napi szinten dolgozó csapat számára már érdemes gazdasági számítást végezni: meg kell venni és üzemeltetni a hardvert, valamint kifizetni az áramot, cserébe viszont elkerülhetők lehetnek a felhős AI-szolgáltatások lekérdezésenkénti díjai. A helyi feldolgozás azt is lehetővé teszi, hogy a fájlok a saját infrastruktúrán belül maradjanak. A kezdeti beruházás azonban továbbra is jelentős, ezért a hazai Mac Studio-konfigurációk esetében alaposan össze kell vetni a rendelkezésre álló memóriát e demonstráció igényeivel.
A Muse Spark Open letölthető, open-weight modell, vagyis a paramétereit közzétették. Használatára a Meta licence vonatkozik, amely kereskedelmi feltételeket is tartalmaz; a kompatibilitás NVIDIA-, AMD- és Intel-hardverre is kiterjed. Az Apple-lel való együttműködés egy konkrét asztali konfigurációt ad, de nem teszi a modellt kizárólag Mac-termékké.
