„Dość halucynacji”: pierwsze takie ostrzeżenie. Prokuratura pisze listy do bigtechów

Grupa prokuratorów generalnych z wielu stanów USA wysłała list do największych firm technologicznych – w tym Microsoftu, OpenAI, Google, Meta i Apple – ostrzegając, że ich chatboty mogą naruszać stanowe prawo konsumenckie i narażać obywateli na realne szkody. To jedno z pierwszych tak wyraźnych sygnałów ze strony amerykańskich władz stanowych, że „halucynacje” AI nie są tylko technicznym problemem, ale kwestią potencjalnej odpowiedzialności prawnej.

Zgodnie z doniesieniami TechCrunch, Reutersa i innych mediów, koalicja prokuratorów generalnych z kilkudziesięciu stanów USA skierowała list do 13 firm rozwijających generatywną AI. Na liście adresatów znaleźli się m.in. Microsoft, OpenAI, Google, Meta, Apple, ale także inne podmioty budujące chatboty i modele językowe. W liście prawnicy wskazują, że:

• chatboty generatywne produkują „urojeniowe” (delusional) odpowiedzi, które mogą zachęcać użytkowników do podtrzymywania błędnych przekonań na temat rzeczywistości;
• tego typu odpowiedzi mogą stanowić zagrożenie dla zdrowia psychicznego, w szczególności dzieci oraz osób w kryzysie;
• część z tych zachowań może naruszać stanowe przepisy dotyczące ochrony konsumenta, nieuczciwych praktyk rynkowych czy bezpieczeństwa produktów cyfrowych.

W szczególności prokuratorzy przywołują opisany w mediach przypadek nastolatka, który miał zwierzać się chatbotowi ze swoich myśli samobójczych i otrzymać odpowiedzi nie tylko nieskutecznie wspierające, ale wręcz takie, które mogły normalizować jego plany. W odpowiedzi na te obawy prokuratorzy domagają się m.in.:

• niezależnych audytów systemów AI,
• umożliwienia dostępu regulatorom (zarówno stanowym, jak i federalnym) do oceny działania chatbotów,
• wprowadzenia dodatkowych zabezpieczeń dla dzieci i osób w kryzysie psychicznym.

Czym są „urojenia” / halucynacje AI?

Nie trzeba dziś wyjaśniać, czym są halucynacje AI. Codzienność dostarcza nam spektakularnych przykładów takich wpadek:

• wymyślone cytaty i artykuły naukowe;
• nieistniejące wyroki sądów;
• zmyślone biografie realnych osób;
• błędne porady zdrowotne czy prawne.

Problem nie jest nowy – dotyczy praktycznie wszystkich dużych modeli językowych, a środowisko ekspertów mówi o nim otwarcie od pierwszych publicznych wdrożeń ChatGPT czy Barda. Jednak dopiero teraz amerykańskie władze stanowe przekuwają go w oficjalny zarzut: to może być nie tylko „bug”, ale potencjalne naruszenie prawa.

Czytaj także: 30 błędnych cytatów i fikcyjne sprawy sądowe: oto dlaczego nie warto brać AI na salę sądową

Co dokładnie zarzucają firmy prokuratorzy?

Z zebranych materiałów wynika, że list prokuratorów skupia się na kilku kluczowych wątkach. Po pierwsze – ryzyko dla zdrowia psychicznego. Prokuratorzy zwracają uwagę, że chatboty:

• mogą wzmacniać urojenia lub fałszywe przekonania użytkowników (np. teorie spiskowe, przekonania paranoidalne),
• mogą dostarczać niewłaściwych odpowiedzi osobom w kryzysie – zamiast np. zachęcić do kontaktu z pomocą, mogą zbagatelizować problem lub wręcz potwierdzić destrukcyjne myśli.

W kontekście nastolatków, które często eksperymentują z chatbotami z czystej ciekawości, ryzyko jest szczególnie wyeksponowane.

Czytaj także: 128 dni w kolejce do psychologa. Chatboty AI to lekarstwo na kolejki czy cyfrowa iluzja?

Kolejnym zarzutem podnoszonym przez amerykańskich urzędników jest możliwe naruszenie prawa konsumenckiego. W wielu stanach przepisy mówią jasno: produkty i usługi (w tym cyfrowe) nie mogą wprowadzać konsumenta w błąd ani narażać go na nieuzasadnione ryzyko. Prawnicy sugerują, że delirujące odpowiedzi AI mogą być traktowane jak „wadliwe działanie produktu” – zwłaszcza gdy firmy promują swoje chatboty jako inteligentne, „pomocne” i nadające się do szerokiego stosowania.

Wreszcie, trzecim obszarem, na który krytycznie patrzą prokuratorzy zza wielkiej wody, jest brak przejrzystości i kontroli. A dokładniej:

• w jaki sposób chatboty są trenowane,
• jakie mają mechanizmy bezpieczeństwa,
• jak firmy monitorują potencjalnie szkodliwe odpowiedzi,
• czy pozwalają na niezależne audyty ze strony ekspertów zewnętrznych i regulatorów.

Prokuratorzy chcą, aby giganci AI wyszli poza własne deklaracje i otworzyli się na realne, zewnętrzne kontrole.

Bigtechy pod big presją

Na pierwszy rzut oka list prokuratorów wygląda jak kolejny komunikat w długim sporze o regulację AI. W praktyce jednak ma kilka cech, które czynią go ważnym sygnałem dla całego sektora. Przede wszystkim, list jest efektem prac koalicji stanów, a nie pojedynczą inicjatywą. To nie jest głos jednego polityka. Za listem stoi bipartisan – ponadpartyjna – grupa prokuratorów z wielu stanów, którzy często mają realne narzędzia do pozywania firm za naruszenia prawa konsumenckiego czy ochrony dzieci. A trzeba tu zaznaczyć, że w USA to właśnie prokuratorzy stanowi byli często siłą napędową wielkich procesów przeciwko koncernom tytoniowym, farmaceutycznym czy platformom internetowym.

List nabiera dodatkowego znaczenia także z powodu swojego politycznego kontekstu. Sprawa wpisuje się bowiem w szersze napięcia między stanami a administracją federalną, która stara się ograniczyć rozdrobnione regulacje AI. Według przytaczanego już powyżej tekstu Reutersa, administracja Donalda Trumpa dąży do tego, aby utrudnić stanom przyjmowanie własnych, bardziej restrykcyjnych regulacji, co budzi opór lokalnych władz. Właśnie z tego powodu list prokuratorów można czytać także jako polityczny sygnał: „nie oddamy pola w regulacji AI wyłącznie Waszyngtonowi – będziemy reagować sami, jeśli uznamy, że obywatele są zagrożeni”.

Kolejny warty wspomnienia wątek to rosnące ryzyko pozwów indywidualnych. Już wcześniej pojawiały się pozwy przeciwko firmom AI za np. zniesławiające „halucynacje” chatbotów (przypadek Waltera z Georgii, którego ChatGPT miał fałszywie łączyć z zarzutami o defraudację). Jeśli prokuratorzy uznają, że chatboty naruszają prawo konsumenckie, może to otworzyć drogę do:

• pozwów zbiorowych,
• nowych obowiązków informacyjnych (ostrzeżenia, disclaimery),
• wymuszenia konkretnych rozwiązań technicznych (np. obowiązkowych „guardrails” w obszarach zdrowia psychicznego, prawa, finansów).

Jaki efekt odniósł list?

Na razie reakcje gigantów są powściągliwe. Część firm odmawia komentarza lub ogranicza się do ogólnych zapewnień, że „bezpieczeństwo użytkowników jest priorytetem” – co jest standardową formułką w tego typu kryzysach. Trzeba też z dziennikarskiej uczciwości zauważyć, że od kilku lat:

• firmy inwestują ogromne środki w moderację treści, filtry bezpieczeństwa i zespoły „AI safety”,
• do modeli wprowadzane są „guardrails”, które mają blokować odpowiedzi np. na pytania o samobójstwo, przemoc czy porady medyczne,
• część narzędzi oferuje specjalne tryby dla biznesu, z dodatkowymi zabezpieczeniami (np. brak trenowania na danych klienta, lepsze logowanie, możliwość inspekcji).

Tyle że w opinii amerykańskich prokuratorów, którzy swoją opinię opierają o prowadzone przez nich sprawy, te działania są niewystarczające albo zbyt mało przejrzyste.

Adresat amerykański, ale sprawa globalna

Można zapytać: „amerykańscy prokuratorzy, amerykańskie firmy, amerykańskie prawo – po co nam się tym zajmować w Polsce?”. Cóż, powodów jest kilka. Ten najbardziej oczywisty jest taki, że korzystamy z tych samych modeli co amerykańscy użytkownicy:

• ChatGPT (OpenAI),
• Copilota (Microsoft),
• Gemini (Google),
• rozwiązań opartych o API tych firm, wbudowanych w lokalne systemy.

Jeśli w USA pojawią się regulacje wymuszające np. silniejsze zabezpieczenia w obszarze zdrowia psychicznego, dokładniejsze ostrzeżenia czy audyty, istnieje duże prawdopodobieństwo, że efekty uboczne odczujemy także tu.

Na pewno do Waszych uszu dotarła też dyskusja odnośnie AI Act i ochrony konsumenta. Unia Europejska równolegle kończy prace nad AI Act, który wprowadza kategorię „wysokiego ryzyka” dla określonych zastosowań, wymogi przejrzystości, dokumentacji, testów i nadzoru. Choć AI Act koncentruje się głównie na zastosowaniach systemowych (np. scoring obywateli, systemy decyzji administracyjnych, medycyna), to debata o halucynacjach chatbotów niewątpliwie będzie wpływać na interpretację i egzekwowanie prawa konsumenckiego także w Europie.

W Polsce dojdzie do tego jeszcze lokalne prawo ochrony konsumenta oraz praktyka UOKiK, który już pokazywał, że potrafi wchodzić w spór z globalnymi platformami.

Czytaj także: Sklepy internetowe na celowniku UOKiK. Temu, Renee i Born2Be z zarzutami nieuczciwych praktyk – komentarz ekspercki

Spór między prokuratorami a bigtechami dotyka w istocie głębszego pytania: czy narzędzia AI, które zaczynamy traktować jak rozmówcę, powinny podlegać podobnym normom jak terapeuci, doradcy czy media? List amerykańskich prokuratorów to sygnał, że regulatorzy przestają traktować AI jedynie jako kwestię technologiczną czy gospodarczą. Zaczynają przyglądać się jej z perspektywy psychologii, zdrowia publicznego i prawa konsumenckiego.