Polacy zbadali ChatGPT; ma problemy z sarkazmem i emocjami

Zespół CLARIN-PL z PWr postanowił przyjrzeć się temu, jak ChatGPT radzi sobie z rozumieniem języka naturalnego. Generator tekstu od Open-AI wypadł całkiem nieźle w tym badaniu.

Czy ChatGPT radzi sobie z żartami, emocjami i sarkazmem?

ChatGPT musiał zmierzyć się z liczbą ponad 38 tys. zapytań odnośnie do oceny przedstawionych mu treści pod kątem wykrycia określonych znaczeń czy nacechowań. W tym celu podano mu szereg danych z 25 kategorii tematycznych – od sarkastycznych wpisów z Twittera, agresywnych komentarzy z projektu Wikipedia Detox po emocjonalne posty z Reddita. Te z kolei zostały uprzednio ocenione przez ludzi pod kątem odbioru.

Każdy może sprawdzić możliwości ChatGPT. Źródło: Unsplash | Rolf van Root.

Jego skuteczność oszacowano na podstawie porównania go z innymi modelami do automatycznej analizy języka. Wybrano najlepsze z nich, które są powszechnie stosowane przez firmy marketingowe do sprawdzania reakcji konsumentów. ChatGPT poradził sobie gorzej z przedstawionymi mu poleceniami o średnio 25% punktów procentowych.

ChatGPT nie jest do wszystkiego

Generatorowi tekstu od Open-AI poszło słabiej przede wszystkim w rozpoznawaniu emocji oraz w kwestiach wymagających wiedzy o świecie. Za to radzi sobie z problemami, które da się rozwiązać przy pomocy samego tekstu. Do tego jego odpowiedzi były różnorodniejsze i umiał odpowiedzieć, dlaczego w ten sposób postąpił.

Powiązane:Programiści zagrożeni bezrobociem? AI od Google potrafi programować

Należy zwrócić jednak uwagę, iż wykorzystane w badaniu konkurencyjne programy są używane do konkretnego celu. Przykładowo nim może być sprawdzenie komentarzy pod kątem agresji w stosunku do działania danej marki, więc naturalnie miały przewagę w swojej efektywności. Sam model GPT-3 od Open-AI musiał poradzić sobie z nowymi zadaniami i nadal zdaniem naukowców – „wyniki osiągane przez ChatGPT są imponujące”.

1. Strona internetowa projektu CLARIN
2. Strona internetowa Politechniki Wrocławskiej

Czytaj więcej:AI przypominające ludzki umysł coraz bliżej dzięki Google

Damian Miśta

Damian Miśta

Na GRYOnline.pl udziela się od lipca 2022 roku. Najczęściej publikuje artykuły o nowinkach w świecie technologii ze względu na zainteresowanie sprzętem elektronicznym i zmieniającą się rzeczywistością, jednak zdarza mu się również podejmować tematy związane z grami i filmami. Poza tym chętnie wybiera się w podróż do minionych epok. Do gier i pisania ciągnęło go od młodych lat, więc kończył różne tytuły, żeby je później amatorsko recenzować. Zna wszystkie zakamarki Khorinis, a serię przygód Indiany Jonesa powtarzał wiele razy.