A ChatGPT a megjelenése óta az MI konverzációs eszközök, chatbotok és tudományos munkák írásában kiemelkedő szerepet töltött be. Azonban mostanában felmerült, hogy pontosságában párhuzamokat vonhatunk a Google Bard és közte, különösen a programozással kapcsolatos kérdések terén.
A Purdue Egyetem (USA) által nemrégiben végzett kutatás rávilágított, hogy a ChatGPT a programozással kapcsolatos kérdésekben nem mindig ad pontos válaszokat. Több mint a válaszainak a fele helytelen volt, és magas szintű nyelvi képességei sok tanulmányi résztvevőt megtévesztettek.
A Purdue Egyetem vizsgálata 517, a Stack Overflow oldalról származó programozási kérdést elemezett, és áttekintette a ChatGPT válaszait. Megvizsgálták a válaszok helyességét, következetességét, érthetőségét és tömörségét. Az eredmények nem voltak ígéretesek: a válaszok 52%-a volt pontatlan, míg 77% túl hosszúnak bizonyult. A pedáns és magasztos nyelvezet gyakran megtévesztette az olvasókat.
Annak ellenére, hogy a válaszok nem voltak mindig helyesek, a résztvevők 40%-a még mindig a ChatGPT válaszait részesíti előnyben. Az egyetemi oktatók szerint a probléma a ChatGPT képtelenségében rejlik, hogy megértse a válaszok kontextuális finomságait. Úgy tűnik, hogy a következő változat, a GPT-5 ezt az év végére megoldhatja.
