„Osiągnęliśmy limit”: Elon Musk uważa, że skończyły się już dane ludzkie, na których można szkolić AI

Elon Musk, wielki orędownik wdrażania AI uważa, że skończyły się już ludzkie dane wykorzystywane do szkolenia sztucznej inteligencji. Stwierdził to podczas transmitowanej na żywo rozmowy z prezesem firmy Stagwell, Markiem Pennem. Miliarder sądzi, że przedsiębiorstwa działające w tej branży, będą musiały szybko znaleźć rozwiązanie tego problemu.

Dalszy rozwój AI może być zagrożony

Nie da się ukryć, że w ostatnich latach nastąpił błyskawiczny rozwój sztucznej inteligencji, a wiele firmy stworzyło własne chatboty, pomagające ludziom w rozwiązywaniu różnych problemów, takie jak tworzenie napisów do filmów. Przyszłość tej technologii nie wygląda jednak najlepiej, gdyż wielu ekspertów podkreśla, że wyczerpała się już ludzka wiedza, którą można wykorzystać do szkolenia AI. Tak uważa m.in. lya Sutskever, współzałożyciel OpenAI, który podczas ubiegłorocznej konferencji NeurIPS stwierdził, że branża sztucznej inteligencji osiągnęła to, co nazwał "szczytem danych". Uważa, że brak informacji treningowych wymusi odejście od sposobu, w jaki obecnie opracowywane są modele AI.

Powiązane:1123 podpisy przeciw AI; Musk i Wozniak biją na alarm

Podobnego zdania jest również Elon Musk, właściciel firmy xAI, zajmującej się sztuczną inteligencją. Miliarder przyznał, że już w zeszłym roku skończyły się pochodzące od ludzi dane, służące do szkolenia AI. Dlatego uważa, że teraz do rozwoju tej technologii powinno się wykorzystywać dane syntetyczne, generowane przez same modele sztucznej inteligencji.

Dane syntetyczne zmienią sposoby szkolenia modeli

Musk nie jest pierwszą osobą, która wpadła na taki pomysł, gdyż firmy technologiczne z branży AI, już od pewnego czasu wykorzystują dane syntetyczne do szkolenia własnych modeli. Tak robią m.in. Meta, OpenAI oraz Microsoft, a według raportu firmy Gartner, w zeszłym roku aż 60% danych używanych do trenowania modeli, zostało wygenerowanych syntetycznie. W ten sposób „wyuczono” m.in. model Phi-4 Microsoftu, Gemma należący do Google, także najnowszą wersję Lamy, opracowanej przez Meta.

Takie podejście do szkolenia AI może być dla wielu firm korzystne, gdyż ogranicza koszty ich rozwoju. Startup AI Writer twierdzi bowiem, że stworzenie modelu Palmyra X 004, opracowanego niemal wyłącznie przy użyciu syntetycznych danych, kosztowało jedynie 700 tys. dolarów. Tymczasem porównywalnej wielkości model firmy OpenAI, kosztował 4,6 mln dolarów.

Nie jest to jednak tak dobry pomysł, jak można by sądzić. Część naukowców uważa, że korzystanie z danych syntetycznych może rodzić poważne problemy. Badanie z 2023 roku, wykonane przez naukowców z Rice University i Stanforda wykazało, że nadmierne poleganie na nich podczas treningu może tworzyć modele, których „jakość lub różnorodność stopniowo maleje”. Słaba reprezentacja świata rzeczywistego powoduje, że różnorodność modelu pogarsza się po kilku pokoleniach treningu i staje się wówczas mniej kreatywny i bardziej stronniczy.

Krótko mówiąc, doszliśmy do momentu, który może zadecydować o przyszłości AI. Brak ludzkich danych może bowiem spowolnić dalszy rozwój tej technologii, natomiast zastąpienie ich danymi syntetycznymi pogorszy jakość przyszłych modeli. Inżynierowie mają więc niemały problem, który muszą szybko rozwiązać, jeśli chcą utrzymać tempo rozwoju technologii na obecnym poziomie.

Czytaj więcej:Tesla spowodowała karambol z udziałem 8 aut, winny autopilot