Nie tylko obrazy i tekst, AI generuje też muzykę

Przyzwyczailiśmy się już do tego, że sztuczna inteligencja potrafi tworzyć obrazy i staje się w tym coraz lepsza. Jej możliwości w zakresie tworzenia treści stają się jednak coraz szersze, gdyż okazuje się, że może również generować muzykę.

Powiązane:Xiaomi może pracować nad własnymi inteligentnymi okularami

Na pomysł przekształcenia AI w kompozytora muzyki wpadli Seth Forsgren i Hayk Martiros, którzy do nowego zadania dostosowali algorytm Stable Diffusion, tworząc własne narzędzie o nazwie Riffusion. Działa ono na zbliżonej zasadzie jak wspomniany Stable Diffusion, generując treść na podstawie opisu tekstowego. Algorym przeszkolono jednak w zakresie obsługi spektogramu, czyli wizualizacji sygnału dźwiękowego.

Riffusion wykorzystuje algorytm wizualny Stable Diffusion w wersji 1.5 bez żadnych dodatkowych modyfikacji. Pomysłodawcy jedynie trochę go dostroili, aby lepiej przetwarzał obrazy spektrogramów audio w połączeniu z tekstem.

Po wygenerowaniu nowego spektrogramu Riffusion zamienia obraz na dźwięk, wykorzystując w tym celu Torchadio. Algorytm przeszkolono za pomocą spektrogramów przedstawiających dźwięki oraz piosenki należące do różnych gatunków muzycznych, co pozwala mu generowanie nowych klipów audio na podstawie wszelkiego rodzaju podpowiedzi tekstowych.

AI kompozytorem muzyki

Po dopracowaniu pomysłu, twórcy połączyli wszystkie jego elementy w interaktywną aplikację internetową, którą każdy może wypróbować. Riffusion po wpisaniu opisu tekstowego zaczyna w czasie rzeczywistym generować nieskończoną zawartość, jednocześnie wizualizując oś czasu spektrogramu w 3D.

Gdybyście również chcielibyście sprawdzić się w roli kompozytora wykorzystującego AI, to zapraszam na stronę narzędzia. Znajdziecie tam również kilka próbek audio stworzonych przez sztuczną inteligencję, które o dziwno brzmią całkiem nieźle i gdybyśmy nie wiedzieli, że stworzył je algorytm, można by pomyśleć, że są dziełem człowieka. W komentarzach możecie natomiast podzielić się własnymi wrażeniami z testów opisanego algorytmu.

Czytaj więcej:Pracownicy błagali Google, by nie wypuszczać chatbota AI Bard