Genie 4: Google DeepMind adaugă sunet și control în timp real la simularea lumii

Control în timp real și sunet!

Google DeepMind a lansat Genie 4, cel mai nou model de lume, disponibil acum ca previzualizare de cercetare. Sistemul generează medii virtuale interactive, extrem de realiste.

Utilizatorii pot tasta prompturi text în timpul simulării pentru a modifica scena în timp real. Modelul produce, de asemenea, sunet sincronizat, inclusiv muzică și zgomote ambientale care se potrivesc cu ieșirea vizuală.

Lansarea marchează un pas înainte în modelarea generativă a lumii.

Versiunile anterioare se concentraseră în principal pe fidelitatea vizuală. Genie 4 adaugă o strat complet de simțuri cu generare de sunet în timp real. Acest lucru permite lumii simulate să pară mai imersivă și mai credibilă.

Ce înseamnă pentru media interactive?

O funcție cheie a Genie 4 este controlul în timp real. Utilizatorii pot introduce prompturi noi în timp ce simularea rulează, modificând mediul dinamic.

Motorul de sunet generează peisaje sonore sincronizate cu scena vizuală. Aceasta include muzică de fundal, zgomote ambientale și efecte sonore contextuale. Combinația de ieșire vizuală și auditivă creează o experiență de simulare mai completă.

Capacitatea de a ghida lumea în timp real deschide noi posibilități pentru povestirea interactivă și dezvoltarea de jocuri. Dezvoltatorii pot construi medii care răspund la intrarea utilizatorului fără secvențe pre-scrise. Componenta de sunet adaugă adâncime pe care modelele pur vizuale o lipsesc. Acest lucru ar putea influența modul în care se construiesc viitoarele simulări, experiențele de realitate virtuală și conținutul generat de AI.

Este Genie 4 disponibil pentru public? Genie 4 este în prezent în previzualizare de cercetare.

Nu este încă un produs comercial complet, dar cercetătorii și dezvoltatorii pot accesa-l pentru testare și experimentare.

Întrebări frecvente!

Pot utilizatorii modifica lumea în timp ce rulează?

Da. Genie 4 suportă control în timp real, permițând utilizatorilor să tasteze prompturi noi în timpul simulării pentru a modifica scena pe măsură ce se desfășoară.

Generează Genie 4 sunet?

Da. Modelul produce sunet în timp real care se potrivesc cu lumea simulată, inclusiv muzică, zgomote ambientale și efecte sonore contextuale.