Az Apple közzétett egy új, nyílt forráskódú mesterséges intelligenciát a Hugging Face platformon, amely meglepő módon nem balról jobbra, soronként írja a kódot, hanem egyszerre több helyen képes dolgozni – és ezzel szakít az autoregresszív nyelvi modellek hagyományos működésével. A modell neve: DiffuCode-7B-cpGRPO, és az eddigi eredmények alapján akár a legjobb nyílt forrású kódgeneráló modellekkel is versenyképes lehet.
Mi a különbség? Nem csak az, hogy máshogy ír
A legtöbb nyelvi modell, így például a GPT-4 vagy a Claude, autoregresszív módon működik: az inputot végigolvassa, majd egy karaktert vagy szót generál, azt hozzáfűzi a szöveghez, majd újraolvassa a teljes szöveget, és így tovább. Ez működik, de lassú és lineáris.
A DiffuCode ezzel szemben egy diffúziós modell – olyan megközelítés, amit eddig főként képgenerálásnál láthattunk (pl. a Stable Diffusionnél). Itt nem egy karakterrel kezdődik minden, hanem a rendszer „zajos”, töredékes állapotból indul, amit iteratív lépésekben tisztáz, miközben figyelembe veszi a felhasználó kérését.
Ennek eredménye: párhuzamos feldolgozás, gyorsabb eredmény és jobb globális koherencia – ami kódírásnál különösen fontos, hiszen nem elég, hogy egy sor jól nézzen ki, az egész fájlnak működnie kell.
Mit csinált pontosan az Apple?
Az Apple nem a nulláról kezdte a munkát. A modell az Alibaba Qwen2.5‑7B nevű nyílt alapmodelljére épül, amelyet az Alibaba először finomhangolt programozáshoz (Qwen2.5‑Coder‑7B néven), majd ezt vette át az Apple, és teljesen újragondolta:
- Diffúziós dekódert integrált a kódgeneráláshoz a DiffuCoder nevű kutatás alapján
- Ezután egy új lépést is bevezettek, amit coupled-GRPO néven emlegetnek
- Végül 20 000 kódolási példán finomhangolták a végső verziót
A DiffuCode-7B-cpGRPO 4,4%-kal jobb eredményt ért el egy népszerű benchmarkon, mint az eredeti DiffuCoder. Emellett továbbra is képes kódot generálni balról jobbra vagy „szétosztottan”, a „temperature” paraméter segítségével.
„A 0,2-ről 1,2-re emelt hőmérséklet mellett a modell megszabadul a balról-jobbra írás kényszerétől, és szabadabban állítja össze a kódot” – áll a publikációban.
Jó ez valamire, vagy csak kutatási cél?
Egyelőre még nincs semmi jele annak, hogy a DiffuCode-7B-cpGRPO közvetlenül bekerülne bármelyik Apple-termékbe – sem Xcode-ba, sem Swift Playgrounds-ba. De az biztos, hogy az Apple már nem csak figyeli, hanem aktívan alakítja a generatív MI-térképet: nyílt modelleket vesz alapul, új architektúrákat próbál ki, és finomhangolt, kutatási célokra is nyílt eszközöket publikál.
Ez nem szokványos Apple-magatartás. A cég eddig inkább zárt rendszerekben gondolkodott, de úgy tűnik, most építi a jövőbeli generatív MI-platform alapjait. A DiffuCode lehet, hogy csak egy kis darab a nagy kirakósban – de ha valóban hatékonyabb, gyorsabb és pontosabb kódot tud generálni, akkor annak hatása messzire vezethet.
