Adj meg 10 másodpercet a hangodból, és elindulhat a hangklónozás. Az ElevenLabs hivatalosan bemutatta az Eleven v4-et és az Eleven v4 Turbót, a szövegfelolvasó modellek új generációját, amely természetesebb hangzást, pontosabb érzelemvezérlést és valós idejű AI-beszélgetésekhez tervezett Turbo változatot ígér.
10 másodperc. Több mint 90 nyelv. A Turbo esetében nagyjából 100 ms-os inferenciakésleltetés. Ezekkel a számokkal az ElevenLabs a meglepően jól hangzó demóktól a ténylegesen használható társalgási hang-AI felé lépne tovább.
Az Eleven v4 már nem csak felolvasni akarja a szöveget
Az új architektúra azokat a részleteket célozza, amelyek továbbra is elárulják a szintetikus hangot: a furcsa ritmust, a rossz helyre tett érzelmeket, a hangszín ingadozását és azt az érzetet, mintha minden mondatot külön rögzítettek volna.
A v4 figyelembe veszi a hangnemet, ritmust, érzelmet, karaktert és kontextust, az ElevenLabs szerint pedig hosszabb szövegekben és több szereplős párbeszédekben is jobban megőrzi a hang identitását.
A közvetlenül a szövegbe írt utasításokkal a vezérlés is fontosabb szerepet kap:
[laughs][whispers]- érzelmi és ritmusra vonatkozó jelzések;
- akcentusok;
- hangeffektek, például eső vagy csengőhang.
Gyakorlatilag már nem csupán a forgatókönyvet adjuk az AI-nak, hanem valami olyasmit is, ami a rendezői instrukciókhoz áll közel.
10 másodperc alatt elkészülhet a hangklón
Valószínűleg ez vonzza majd a legtöbb figyelmet.
Az Instant Voice Clone az ElevenLabs szerint már mindössze 10 másodpercnyi hanganyagból is elindulhat. Nem szabad összekeverni a Professional Voice Clone-nal, amely továbbra is összetettebb folyamat, és a lehető legnagyobb hűségre törekszik, de a belépési küszöb drasztikusan lejjebb került.
Videós narrációk, hangoskönyvek, játékbeli karakterek, AI-asszisztensek és tartalomlokalizáció: mind könnyebben előállíthatóvá válik.
Ezzel együtt természetesen mások hangjának reprodukálása is egyszerűbbé válik.
A Turbo az AI-beszélgetések zavaró szüneteit célozza
Az Eleven v4 Turbo hangalapú ügynökökhöz és élő beszélgetésekhez készült. Az ElevenLabs nagyjából 100 ms-os medián inferenciakésleltetésről és körülbelül 150 ms-ról az első hang megszólalásáig beszél.
Ez fontosabb, mint elsőre tűnik.
Egy hangbot hangozhat kiválóan, de ha minden válasz után láthatóan „gondolkodik”, azonnal eltűnik a beszélgetés természetessége. A Turbo célja egyértelműen az AI-os ügyfélszolgálat, a hangasszisztensek, a játékbeli karakterek és minden olyan helyzet, ahol a másik félnek szinte azonnal válaszolnia kell.
Korábban akár 50 percnyi hanganyagra is szükség lehetett
Van egy jól érzékeltető összehasonlítás is.
Amikor a GIGABYTE A16 CHV hordozható alkotói és AI-stúdióként szolgált, az ElevenLabs számára körülbelül 50 percnyi hanganyagot használtak fel YouTube Shorts-videók narrációinak elkészítéséhez.
Az ElevenLabs most már olyan azonnali klónozásról beszél, amelyhez elég lehet 10 másodperc.
Nem pontosan ugyanarról a folyamatról van szó: a Professional Voice Clone és az Instant Voice Clone eltérő hűségi szintet céloz. A különbség mégis jól mutatja, milyen gyorsan fejlődik a technológia.
A több tíz percnyi nyersanyagtól a néhány másodperces hangmintáig vezető út már nem generációs ugrásnak tűnik: rendkívül gyorsan lezajlott.
Az ElevenLabs egyre inkább eltűnik az általunk használt termékek hátterében
A vállalat már messze nem csak egy weboldal, ahová kíváncsi alkotók lépnek be AI-jal kísérletezni.
Az Adobe integrálta az ElevenLabs hangjait a Firefly Generate Speech funkciójába, a Spotify pedig az ElevenLabsszel dolgozik AI által narrált hangoskönyveken.
Talán ez a fontosabb jel, mint a látványos közösségimédia-demók: a technológia egyre inkább eltűnik a kész termék mögött.
A felhasználó a hangot hallja; nem feltétlenül kell tudnia, ki vagy mi hozta létre.
És mi a helyzet a magyarral?
Az Eleven v4 és v4 Turbo már több mint 90 nyelvet támogat, köztük a magyart is. Az ElevenLabs szerint az új generáció nyelvváltáskor is jobban megőrzi az eredeti hang identitását, miközben a kiejtést és a hanglejtést a szöveghez igazítja.
Ez a magyar alkotók számára is gyakorlati értéket ad a technológiának: a magyar nyelv közvetlenül használható szinkronhangokhoz, hangoskönyvekhez, tartalomlokalizációhoz vagy hangalapú ügynökökhöz.
Az Eleven v4 és v4 Turbo az ElevenCreative, ElevenAgents és ElevenAPI szolgáltatásokban érhető el.
Míg néhány éve a hangklónozáshoz még hosszabb, egységes hangmintákra volt szükség, az ElevenLabs most szinte abszurdul alacsonyra viszi a belépési küszöböt:
10 másodpercnyi hangra.
