Noul model AI al NVIDIA, Fugatto, poate crea sunet din mesaje text
Scris: 26 Noi 2024, 02:43
NVIDIA a lansat un nou model experimental AI generativ, pe care îl descrie drept „un cuțit elvețian pentru sunet”. Modelul numit Foundational Generative Audio Transformer Opus 1, sau Fugatto , poate prelua comenzi de la solicitări de text și le poate folosi pentru a crea sunet sau pentru a modifica fișierele de muzică, voce și sunet existente. A fost proiectat de o echipă de cercetători AI din întreaga lume, iar NVIDIA spune că acest lucru a făcut ca modelul să fie „multi-accent și capabilități multilingve mai puternice”.
„Am vrut să creăm un model care să înțeleagă și să genereze sunet ca oamenii”, a spus Rafael Valle, unul dintre cercetătorii din spatele proiectului și manager al cercetării audio aplicate la NVIDIA. Compania a enumerat câteva posibile scenarii din lumea reală în care Fugatto ar putea fi de folos în anunțul său. Producătorii de muzică, a sugerat, ar putea folosi tehnologia pentru a genera rapid un prototip pentru o idee de cântec, pe care apoi o pot edita cu ușurință pentru a încerca diferite stiluri, voci și instrumente.
https://youtu.be/qj1Sp8He6e4
Oamenii l-ar putea folosi pentru a genera materiale pentru instrumente de învățare a limbilor străine în vocea la alegere. Și dezvoltatorii de jocuri video l-ar putea folosi pentru a crea variații ale activelor preînregistrate pentru a se potrivi schimbărilor din joc în funcție de alegerile și acțiunile jucătorilor. În plus, cercetătorii au descoperit că modelul poate îndeplini sarcini care nu fac parte din pre-antrenamentul său, cu unele reglaje fine. Ar putea combina instrucțiuni pe care a fost instruit separat, cum ar fi generarea de vorbire care sună supărat cu un anumit accent sau sunetul păsărilor cântând în timpul unei furtuni. Modelul poate genera sunete care se schimbă în timp, de asemenea, cum ar fi zgomotul unei furtuni în timp ce se deplasează pe pământ.
NVIDIA nu a spus dacă va oferi publicului acces la Fugatto, dar modelul nu este prima tehnologie AI generativă care poate crea sunete din mesaje text. Meta a lansat anterior un kit AI open source care poate crea sunete din descrierile textului. Google are propriul său AI text-to-music, numit MusicLM , pe care oamenii îl pot accesa prin intermediul site-ului AI Test Kitchen al companiei .
https://youtu.be/qj1Sp8He6e4
Oamenii l-ar putea folosi pentru a genera materiale pentru instrumente de învățare a limbilor străine în vocea la alegere. Și dezvoltatorii de jocuri video l-ar putea folosi pentru a crea variații ale activelor preînregistrate pentru a se potrivi schimbărilor din joc în funcție de alegerile și acțiunile jucătorilor. În plus, cercetătorii au descoperit că modelul poate îndeplini sarcini care nu fac parte din pre-antrenamentul său, cu unele reglaje fine. Ar putea combina instrucțiuni pe care a fost instruit separat, cum ar fi generarea de vorbire care sună supărat cu un anumit accent sau sunetul păsărilor cântând în timpul unei furtuni. Modelul poate genera sunete care se schimbă în timp, de asemenea, cum ar fi zgomotul unei furtuni în timp ce se deplasează pe pământ.
NVIDIA nu a spus dacă va oferi publicului acces la Fugatto, dar modelul nu este prima tehnologie AI generativă care poate crea sunete din mesaje text. Meta a lansat anterior un kit AI open source care poate crea sunete din descrierile textului. Google are propriul său AI text-to-music, numit MusicLM , pe care oamenii îl pot accesa prin intermediul site-ului AI Test Kitchen al companiei .