AI zastąpi kompozytorów filmowych? Nowe narzędzie pomaga tworzyć ścieżki dźwiękowe

DeepMind firmy Google, oferuje nowe narzędzie do tworzenia ścieżek dźwiękowych. Technologia działa w oparciu o podpowiedzi tekstowe, dopasowując soundtrack do materiału wideo.

Sztuczna inteligencja posiada wiele różnych możliwości, a wśród najbardziej użytecznych są narzędzia, które mogą zrewolucjonizować branżę filmową. Początkujący producenci będą mogli nie tylko wygenerować wideo, ale również wzbogacić je o pasującą ścieżkę dźwiękową. Tym ostatnim zadaniem zajmuje się DeepMind, czyli sztuczna inteligencja należąca do Google.

DeepMind stworzy ścieżkę dźwiękową do naszego filmu

Na oficjalnym blogu amerykańskiego giganta, znajdziemy informację o zupełnie nowym narzędziu stworzonym do generowania ścieżek dźwiękowych do filmów, powstających na bazie tekstowych podpowiedzi. Co ważne, są one dopasowane do treści wideo. Jak twierdzi Google, użytkownicy mogą używać tego narzędzia do tworzenia scen z „partyturą dramatyczną, realistycznymi efektami dźwiękowymi lub dialogami pasującymi do postaci i tonu filmu”. Na wspomnianej stronie znajdziemy również przykłady takich ścieżek dźwiękowych i trzeba przyznać, że brzmią one całkiem nieźle.

Wśród przykładów jest m.in. wideo przedstawiające futurystyczne miasto z pędzącym jego ulicami samochodem. Ścieżka dźwiękowa powstała na podstawie podpowiedzi „poślizg samochodu, dławienie silnika samochodu, anielska muzyka elektroniczna”

Innym przykładem jest wideo przedstawiające kowboja, jadącego powoli na koniu, na tle zachodu słońca. Ta ścieżka powstała na bazie podpowiedzi „Gdy słońce zachodzi nad prerią, gra powolna, łagodna harmonijka ustna”.

To tylko dwa z kilku przykładów dostępnych na stronie. Pokazują jednak, że AI spisuje się całkiem nieźle w roli twórcy ścieżek dźwiękowych. Naturalnie na razie są to tylko krótkie fragmenty do prostych filmów. Z czasem technologia będzie jednak w stanie tworzyć bardziej złożone dzieła.

Według Goopgle, DeepMind może również generować „nieograniczoną” liczbę ścieżek dźwiękowych do filmów, umożliwiając użytkownikom tworzenie nieskończonej liczby opcji audio. Firma twierdzi również, że przeszkoliła narzędzie AI w zakresie wideo, audio i adnotacji zawierających „szczegółowe opisy dźwięków i transkrypcje mówionych dialogów”. Dzięki temu, generator wideo-audio dopasowuje zdarzenia audio do scen wizualnych.

AI zastąpi kompozytorów filmowych

Póki co, nowe narzędzie ma pewne ograniczenia. Nie jest jeszcze w stanie idealnie zsynchronizować ruchu ust z dialogiem. Widać to na poniższym filmie, przedstawiającym rodzinę siedzącą przy stole. Firma zaznacza również, że jakość generowanego dźwięku zależy od jakości obrazu. Jeśli więc materiał źródłowy będzie ziarnisty i zniekształcony, wówczas dźwięk również będzie miał gorszą jakość.

Nowe narzędzie DeepMind nie jest jeszcze publicznie dostępne, gdyż wciąż przechodzi testy. Nie wiadomo więc kiedy użytkownicy będą mogli wypróbować jego możliwości.

To jednak pokazuje jak szybki jest rozwój sztucznej inteligencji, zwłaszcza w zakresie tworzenia obszaru i dźwięku. Takie narzędzia jak Veo i Sora, które pozwalają generować filmy, a w połączeniu z narzędziami do ścieżek dźwiękowych, mogą w przyszłości znacznie ułatwić życie filmowcom amatorom. Zamiast wydawać masę pieniędzy na sprzęt oraz zatrudniać aktorów, bez wychodzenia z domu będzie można stworzyć film jaki się tylko zechce.