Nie tylko obrazy i tekst, AI generuje też muzykę

Sztuczna inteligencja zaczyna coraz lepiej radzić sobie z tworzeniem treści. Nie ogranicza się jednak do generowania obrazów, artykułów oraz książek. Zaczyna bowiem także produkować muzykę.

news
Marek Pluta20 grudnia 2022
2
Źrodło fot. Unsplash | Possessed Photography
i

Przyzwyczailiśmy się już do tego, że sztuczna inteligencja potrafi tworzyć obrazy i staje się w tym coraz lepsza. Jej możliwości w zakresie tworzenia treści stają się jednak coraz szersze, gdyż okazuje się, że może również generować muzykę.

Na pomysł przekształcenia AI w kompozytora muzyki wpadli Seth Forsgren i Hayk Martiros, którzy do nowego zadania dostosowali algorytm Stable Diffusion, tworząc własne narzędzie o nazwie Riffusion. Działa ono na zbliżonej zasadzie jak wspomniany Stable Diffusion, generując treść na podstawie opisu tekstowego. Algorym przeszkolono jednak w zakresie obsługi spektogramu, czyli wizualizacji sygnału dźwiękowego.

Riffusion wykorzystuje algorytm wizualny Stable Diffusion w wersji 1.5 bez żadnych dodatkowych modyfikacji. Pomysłodawcy jedynie trochę go dostroili, aby lepiej przetwarzał obrazy spektrogramów audio w połączeniu z tekstem.

Po wygenerowaniu nowego spektrogramu Riffusion zamienia obraz na dźwięk, wykorzystując w tym celu Torchadio. Algorytm przeszkolono za pomocą spektrogramów przedstawiających dźwięki oraz piosenki należące do różnych gatunków muzycznych, co pozwala mu generowanie nowych klipów audio na podstawie wszelkiego rodzaju podpowiedzi tekstowych.

Nie tylko obrazy i tekst, AI generuje też muzykę - ilustracja #1
Źródło: Riffusion

AI kompozytorem muzyki

Po dopracowaniu pomysłu, twórcy połączyli wszystkie jego elementy w interaktywną aplikację internetową, którą każdy może wypróbować. Riffusion po wpisaniu opisu tekstowego zaczyna w czasie rzeczywistym generować nieskończoną zawartość, jednocześnie wizualizując oś czasu spektrogramu w 3D.

Nie tylko obrazy i tekst, AI generuje też muzykę - ilustracja #2
Źródło: Riffusion

Gdybyście również chcielibyście sprawdzić się w roli kompozytora wykorzystującego AI, to zapraszam na stronę narzędzia. Znajdziecie tam również kilka próbek audio stworzonych przez sztuczną inteligencję, które o dziwno brzmią całkiem nieźle i gdybyśmy nie wiedzieli, że stworzył je algorytm, można by pomyśleć, że są dziełem człowieka. W komentarzach możecie natomiast podzielić się własnymi wrażeniami z testów opisanego algorytmu.

POWIĄZANE TEMATY: nauka AI / sztuczna inteligencja

Marek Pluta

Marek Pluta

Od lat związany z serwisami internetowymi zajmującymi się tematyką gier oraz nowoczesnych technologii. Przez wiele lat współpracował m.in. z portalami Onet i Wirtualna Polska, a także innymi serwisami oraz czasopismami, gdzie zajmował się m.in. pisaniem newsów i recenzowaniem popularnych gier, jak również testowaniem najnowszych akcesoriów komputerowych. Wolne chwile lubi spędzać na rowerze, zaś podczas złej pogody rozrywkę zapewnia mu dobra książka z gatunku sci-fi. Do jego ulubionych gatunków należą strzelanki oraz produkcje MMO.

AMD zmiażdzyło Intela na rynku procesorów. Ponad 4 razy więcej sprzedanych egzemplarzy na amerykańskim Amazonie

AMD zmiażdzyło Intela na rynku procesorów. Ponad 4 razy więcej sprzedanych egzemplarzy na amerykańskim Amazonie

Gry jeszcze nigdy nie wyglądały lepiej. Ten monitor to marzenie niejednego gracza i coraz łatwiej można je spełnić

Gry jeszcze nigdy nie wyglądały lepiej. Ten monitor to marzenie niejednego gracza i coraz łatwiej można je spełnić

Ten procesor to bestia do nowych gier. W tak niskiej cenie na Amazonie to prawdziwa okazja dla gracza

Ten procesor to bestia do nowych gier. W tak niskiej cenie na Amazonie to prawdziwa okazja dla gracza

Switch 2 nie ma ekranu OLED, ale to nic - porównanie z pierwszą generacją pokazuje sporą różnicę w jakości

Switch 2 nie ma ekranu OLED, ale to nic - porównanie z pierwszą generacją pokazuje sporą różnicę w jakości

50 lat Microsoft: Bill Gates dzieli się „najfajniejszym kodem, jaki napisał”

50 lat Microsoft: Bill Gates dzieli się „najfajniejszym kodem, jaki napisał”