Eine von den Google-Forschern entwickelte Video-to-Audio-Technologie (V2A) ermöglicht eine KI-gestützte Vertonung von Videos mit Geräuschen und Soundtracks.
Die V2A-Technologie lasse sich mit Videogenerierungsmodellen wie Veo kombinieren, um Aufnahmen mit einer dramatischen Musik, realistischen Soundeffekten oder Dialogen zu erstellen, die zu den Charakteren und dem Ton eines Videos passen.
Die Technologie könne auch Soundtracks für eine Reihe von traditionellem Filmmaterial generieren, darunter Archivmaterial, Stummfilme und vieles mehr.
Die V2A-Technologie lasse sich steuern, indem man optional mit einem “positiven Prompt” die generierte Ausgabe auf gewünschte Klänge hinlenken oder über einen “negativen Prompt” von unerwünschten Klängen wegführen kann, teilen die Forscher mit. Im Blogbeitrag sind Beispiele zu sehen und zu hören.
