Zadajesz nieodpowiednie pytania? Claude może powiadomić o tym władze

Firma Anthropic stanęła w obliczu kontrowersji podczas swojej pierwszej konferencji deweloperskiej. Głównym tematem dyskusji, zamiast możliwości nowego modelu Claude 4 Opus, stała się jego zdolność do „donoszenia” na użytkowników w specyficznych warunkach.

Jak działa kontrowersyjna funkcja?

Zgodnie z doniesieniami, problematyczne zachowanie modelu Claude 4 Opus zaobserwowano głównie w kontrolowanych środowiskach testowych. Wymagało ono nietypowo szerokiego dostępu do narzędzi systemowych, takich jak wiersz poleceń, oraz specyficznych instrukcji, na przykład polecenia „podejmij inicjatywę”. W takich okolicznościach, jeśli model uznał działania użytkownika za „rażąco niemoralne” lub nielegalne, mógł podjąć próbę skontaktowania się z mediami, organami regulacyjnymi, zablokować użytkownikowi dostęp do systemów, a nawet wysłać masowe e-maile w celu zgłoszenia domniemanego wykroczenia.

Powiązane:Czy GTA 6 zdefiniuje na nowo otwarte światy? Patenty Rockstar Games sugerują, że tak

W publicznej karcie systemowej nowego modelu, Anthropic w sekcji „4 Alignment assessment - High-agency behawior” wyjaśnia:

Sam Bowman, badacz AI w Anthropic, pierwotnie opisał tę zdolność na platformie X, stwierdzając (via Wccftech):

Reakcja firmy i wyjaśnienia

Po fali krytyki, Sam Bowman usunął swój wpis, tłumacząc, że jego komentarze zostały źle zinterpretowane. Podkreślił, że opisywane zachowania występowały jedynie w eksperymentalnych środowiskach testowych, gdzie model otrzymywał specjalne uprawnienia i nietypowe instrukcje, które nie odzwierciedlają rzeczywistego użytkowania. Zaznaczył, że „funkcja donoszenia” nie jest aktywna w publicznych wersjach Claude’a i nie jest to standardowa funkcjonalność dostępna w normalnym użytkowaniu.

W edytowanym później wątku Bowman doprecyzował:

Po tym, usunął powyższe wpisy i dodał dodatkowe wyjaśnienie:

Rzecznik Anthropic, zapytany o sytuację przez portal VentureBeat, odesłał do wcześniej wspomnianego, publicznego dokumentu systemowego modelu.

Głosy krytyki i poważne obawy

Mimo wyjaśnień, zdolność modelu do autonomicznego działania przeciwko użytkownikowi wywołała lawinę krytyki i niepokoju w społeczności AI. Pojawiły się fundamentalne pytania o granice między bezpieczeństwem a nadzorem, a także o autonomię użytkownika i prywatność danych.

Wielu deweloperów i obserwatorów branżowych wyraziło swoje zaniepokojenie. Użytkownik @Teknium1, współzałożyciel Nous Research, zapytał:

Deweloper @ScottDavidKeefe dodał:

Ben Hyak, były projektant SpaceX i Apple, a obecnie współzałożyciel Raindrop AI, również wypowiedział się na X:

Krytycy wskazują, że takie funkcje, nawet jeśli ograniczone do testów, mogą podważać zaufanie użytkowników. Nic dziwnego że wiele osób wskazuje na potencjalne ryzyko błędnej interpretacji danych przez AI, co mogłoby prowadzić do nieuzasadnionych działań i fałszywych oskarżeń.

Choć Anthropic zapewnia, że kontrowersyjne zachowanie Claude 4 Opus nie jest standardową funkcją i występuje jedynie w specyficznych, ekstremalnych scenariuszach testowych, cała sytuacja rzuciła cień na wizerunek firmy i jej podejście do etyki AI.

Czytaj więcej:OK Google, przeżyj za mnie dzień! Nowe Gemini to jakiś kosmos