Internet nie przetrwa bez ludzi? Szkolenie AI danymi wygenerowanymi przez sztuczną inteligencję sprawia, że odpowiedzi to bełkot

Sztuczna inteligencja rozwija się w błyskawicznym tempie, a modele językowe, takie jak ChatGPT czy stający się coraz bardziej popularny Claude od firmy Anthropic, opierają się na ogromnych ilościach danych treningowych, aby generować sensowne i spójne odpowiedzi. Ale co się stanie, gdy te modele zaczną „karmić się” swoimi własnymi treściami, a nie oryginalnymi, ludzkimi tekstami?

Powiązane:Czy GTA 6 zdefiniuje na nowo otwarte światy? Patenty Rockstar Games sugerują, że tak

Nowe badania sugerują, że trenowanie AI danymi wygenerowanymi przez inne modele może prowadzić do zjawiska zwanego „model collapse” (załamania). W skrócie, sztuczna inteligencja zaczyna zapominać, co to znaczy generować wartościowe treści, a jej odpowiedzi stają się bełkotem.

W najnowszym badaniu opublikowanym w czasopiśmie Nature naukowcy stworzyli własny model językowy, który początkowo karmili oryginalnym, ludzkim tekstem. Następnie stworzyli dziewięć kolejnych generacji modeli, z których każda z nich była szkolona na tekście wygenerowanym przez poprzedni. W rezultacie, ostatnia z nich produkowała bełkot, nie mający nic wspólnego z oryginalnym tekstem.

Według tego artykułu, proces załamania modelu ma dwie fazy:

1. Wczesne stadium: AI zaczyna zapominać o rzadziej występujących elementach w oryginalnym tekście. Skutkuje to tym, że najczęstsze odpowiedzi stają się jeszcze bardziej powszechne, co może prowadzić do zubożenia różnorodności poglądów i wyrażeń.
2. Późne stadium: AI jest już tak daleko od oryginalnych danych treningowych, że zapomina o kluczowych aspektach i generuje całkowicie bezsensowne treści. Na tym etapie, w jednym z eksperymentów, model językowy zaczął bezsensownie powtarzać frazę „black@tailed jackrabbits” zamiast generować sensowny tekst o architekturze kościelnej.

Naukowcy twierdzą, że to zjawisko jest nieuniknione dla dużych modeli szkolonych na własnych danych.

Czy to tylko teoria?

Wiele stron internetowych już teraz publikuje treści generowane przez AI. W wyścigu o tworzenie coraz to nowszych modeli, łatwo sobie wyobrazić, że te niskiej jakości teksty mogą przedostać się do zbiorów danych treningowych, potencjalnie obniżając jakość ich kolejnych generacji. Co więcej, problem ten nie ogranicza się tylko do zamkniętych platform. Portal społecznościowy Facebook oraz popularne forum dyskusyjne Reddit, również zmaga się z coraz większym zalewem treści generowanych przez AI, zarówno w komentarzach, jak i postach.

Co istotne w kontekście tych informacji, to to, że na początku 2024 roku Reddit podpisał umowę z Google, wartą podobno 60 milionów dolarów rocznie, na mocy której gigant z Mountain View uzyskał dostęp do danych API Reddita w celu szkolenia swoich modeli AI. To wskazuje na to, jak cenne są dane generowane przez użytkowników dla rozwoju sztucznej inteligencji oraz rodzi pytania o etykę i jakość tych danych, zwłaszcza w kontekście potencjalnego „zatrucia” modeli AI treściami niskiej jakości. Takie działania mogą prowadzić do dalszej degradacji ich zdolności generowania wartościowych i wiarygodnych treści.

Jak temu zapobiec?

Jednym z rozwiązań mogłoby być oznaczanie treści generowanych przez AI, tak aby można było je łatwo wykluczyć z danych treningowych. Google, Adobe i inne firmy technologiczne pracują nad takim rozwiązaniem w ramach projektu C2PA (The Coalition for Content Provenance and Authenticity). Jednak to rozwiązanie dotyczy jedynie generowanych treści w formie graficznej. Obecnie, znacznie trudniej jest oznaczyć lub zidentyfikować tekst wygenerowany przez AI. Bardziej realistyczne podejście może wymagać od twórców najnowszych modeli skrupulatnego sprawdzania materiałów pod kątem oznak manipulacji AI i ewentualnego płacenia renomowanym źródłom ludzkim za dostęp do ich wysokiej jakości danych.

Internet bez ludzi?

Oznacza to, że przyszłość sztucznej inteligencji może zależeć od dalszego zaangażowania człowieka. Bez nadzoru i kontroli, modele AI mogą popaść w samozagładę, generując treści, które nie mają żadnej wartości.

Czytaj więcej:Zadajesz nieodpowiednie pytania? Claude może powiadomić o tym władze