Wykrycie twórczości AI nie jest proste; dedykowane narzędzia łatwo oszukać

Najnowsze badania przeprowadzone wspólnie przez naukowców z wielu uniwersytetów wykazały, że systemy mające rzekomo wykrywać tekst pisany przez AI, nie spełniają swojego zadania. Odkryto bowiem, że istnieją metody pozwalające na proste oszukanie takich narzędzi.

Wykrycie tekstu napisanego przez AI nie jest proste

Uczniowie szybko odkryli, że ChatGPT jest świetnym narzędziem do pisania wypracowań i zaczęli go tak często wykorzystywać, że część szkół wprowadziła zakazy korzystania z tego chatbota. Szybko pojawiły się także narzędzia, które rzekomo miały umożliwić wykrycie tekstu napisanego przez AI. Okazuje się jednak, że ich przydatność nie jest duża, gdyż bardzo łatwo je oszukać.

Powiązane:Pracownicy błagali Google, by nie wypuszczać chatbota AI Bard

Debora Weber-Wulff z berlińskiego Uniwersytetu Nauk Stosowanych, wspólnie z grupą uniwersyteckich badaczy, przetestowała 14 narzędzi, takich jak np. Turnitin, GPT Zero czy Compilatio, pod kątem wykrywania tekstu napisanego przez ChatGPT.

Większość tego typu oprogramowania działa na zasadzie wyszukiwania cech szczególnych dla tekstu wygenerowanego przez AI, w tym powtórzeń, a następnie oblicza prawdopodobieństwo, że jest to dzieło sztucznej inteligencji. Na potrzeby testów przygotowano więc krótkie wypracowania obejmujące takie tematy, jak inżynieria lądowa, informatyka, historia, językoznawstwo oraz literatura. Naukowcy napisali je samodzielnie, aby mieć pewność, że nie znajdują się w sieci i nie zostały już wykorzystane do szkolenia AI.

Badanie 54 przygotowanych w ten sposób dokumentów wykazało jednak, że wszystkie testowane narzędzia miały problem z analizą tekstu po tym, gdy został nieco zmodyfikowany, np. poprzez zmianę kolejności zdań oraz przepuszczony przez narzędzie do parafrazowania o nazwie Quillbot.

Test wykazał, że wprawdzie narzędzia wykrywały napisany przez człowieka tekst z 96% dokładnością, to gorzej było z tekstem generowanym przez AI. W przypadku ChatGPT uzyskano identyfikację na poziomie 74%, lecz wystarczyło tylko nieznacznie zmodyfikować dokument, a wówczas spadał już do 42%. Naukowcy zaznaczają wprawdzie, że niektóre narzędzia nie są całkowicie bezużyteczne, gdyż produktowi firmy Turnitin udało się osiągnąć pewną dokładność przy niskim poziomie wyników fałszywie dodatnich. Nie można jednak całkowicie im ufać.

To bardzo niebezpieczne odkrycie, ponieważ wynika z niego, że wystarczy jedynie nieznacznie zmienić wypracowania napisane przez AI, aby detektory stały się bezradne. Uczniowie mogą więc dalej wyręczać się ChatemGPT.

Czytaj więcej:Jak uzyskać zwrot z Play-UPC w związku z decyzją UOKiK - opisujemy ścieżkę