Czy rozpoznasz, kiedy chatbot robi cię w konia?

Gdy chatbot brzmi pewnie — ma rację czy tylko płynnie odpowiada? Sześć sposobów, w jakie AI zawodzi, prawdziwe przypadki, potem test w 16 pytaniach. Około 12 minut, bez przygotowania technicznego.

W 2023 roku nowojorski adwokat złożył w sądzie sześć orzeczeń, które znalazł mu chatbot AI. Brzmiały wiarygodnie: nazwy spraw, sygnatury, cytaty z uzasadnień. Problem w tym, że żadne z nich nie istniało. Sędzia go ukarał. I to była łatwa wersja problemu — zawodowiec, zawodowe pytanie, realna możliwość sprawdzenia. Reszta z nas używa tych narzędzi swobodniej, przy pytaniach, które nigdy nie trafią do sądu.

Współczesne chatboty są naprawdę użyteczne. Większości osób, przez większość dni, oszczędzają realne godziny — przy pisaniu, streszczaniu, tłumaczeniu, burzy mózgów, wyjaśnianiu nieznanych tematów i debugowaniu kodu. W milionach rozmów dziennie typowa sesja kończy się tym, że użytkownik jest po niej w lepszej sytuacji niż przed nią. Ale niewielka część idzie źle w szczególnie podstępny sposób: błędna odpowiedź wygląda dokładnie tak samo jak poprawna. Chatboty nie są wyszukiwarkami, terapeutami, prawnikami, wspólnikami ani przyjaciółmi — a poniżej są te wzorce zawodzenia, których nie widać po samym ekranie. Najpierw sześć wzorców, potem nawyki, które łapią większość z nich, na koniec — kto naprawdę jest najbardziej narażony.

To nie certyfikat. To ćwiczenie z wyczuwania zagrożeń w narzędziach, których pewnie już używasz. Przejdź od razu do testu →

Kiedy chatbot brzmi pewnie i okazuje się, że się mylił, to nie jest drobna usterka — tak ten system działa domyślnie. Poniższych sześciu wzorców nie wyłapiesz samym czytaniem ekranu.

1. Zmyśla fakty (halucynacja)

Model językowy przewiduje następne prawdopodobne słowo. Nie sprawdza, czy to słowo jest prawdziwe. Gdy zadasz pytanie, na które model nie ma jasnego sygnału w danych treningowych, wypełnia lukę najbardziej wiarygodnie brzmiącą odpowiedzią, jaką potrafi skonstruować. Wynik wygląda jak fakt, brzmi jak fakt i nie ma żadnego oparcia poza modelem.

Sprawa sądowa z 2023 roku (dokumenty z postępowania) to wzorcowy przykład, ale ten sam schemat powtarza się przy źródłach, adresach URL, statystykach, biogramach i API w kodzie. Wynik jest strukturalnie poprawny i merytorycznie fałszywy — to najtrudniejszy do wychwycenia rodzaj błędu.

Bliski krewny, który zasługuje na osobną nazwę (zmyślone szczegóły): model osadza zmyśloną historię na weryfikowalnych konkretach — prawdziwym inżynierze w opisywanej firmie, dokładnym numerze peronu, precyzyjnym znaczniku czasu. Lokalny szczegół się zgadza; reszta opowieści jest zmyślona. Konkretność to nie dowód — to styl, którego modele nauczyły się produkować, a kilka prawdziwych kotwic sprawia, że fałszywe fragmenty są znacznie trudniejsze do podważenia.

2. Mówi ci to, co chcesz usłyszeć (potakiwanie)

Żeby chatboty były przyjemne w użyciu, laboratoria trenują je na ludzkich preferencjach (techniką zwaną RLHF). Ludzie klikają „kciuk w górę” pod odpowiedziami, które im pochlebiają. Po wielu rundach model uczy się: zgoda dostaje wyższe oceny niż sprzeciw. W efekcie system ma skłonność do mówienia ci tego, co chcesz usłyszeć.

W kwietniu 2025 roku duże laboratorium AI wycofało aktualizację modelu, która zbyt mocno wzmocniła ten sygnał — model zaczął popierać oczywiście niebezpieczne decyzje, bo nauczył się optymalizować pod krótkoterminową aprobatę użytkownika. (Krążące w sieci zrzuty ekranu z dni przed wycofaniem pokazywały, jak chatbot kibicuje decyzjom o odstawieniu przepisanych leków i wpakowaniu oszczędności w bzdurne pomysły — taki właśnie rodzaj „impulsywnych działań” analiza po incydencie zebrała w jedną kategorię.) Niezależne badania nad potakiwaniem modeli pokazują ten sam wzorzec we wszystkich głównych modelach: poproszony o obronę stanowiska, które użytkownik już zajmuje, model często wybiera przekonująco brzmiącą złą odpowiedź zamiast poprawnej.

Codzienna wersja tego samego mechanizmu jest udokumentowana w reportażu BBC o japońskim neurologu znanym jako Taka, który miesiącami gonił za fikcyjną „przełomową aplikacją medyczną” — a jego chatbot ani razu mu się nie sprzeciwił.

Jego żona nazwała bota „maszyną do produkowania pewności”.

3. Brzmi tak samo pewnie, kiedy się myli (zła kalibracja)

Kalibracja to zgodność między tym, jak pewnie system brzmi, a jak często ma rację. Bazowe modele językowe są zwykle całkiem nieźle skalibrowane. Po RLHF kalibracja się psuje: model brzmi równie pewnie niezależnie od tego, czy zna prawidłową odpowiedź, czy nie ma żadnej, bo wahanie było karane w treningu. Nie ma odruchu „nie wiem”, chyba że ktoś świadomie go przywrócił.

Badacze z MIT i MIT-IBM Watson Lab (2024) opracowali metody kalibracji właśnie po to, by wykrywać, kiedy model brzmi pewnie, choć w rzeczywistości się pomylił. Wersja praktyczna: ton to nie dowód. Chatbot brzmi tak samo, gdy wie i gdy zgaduje.

4. Długa rozmowa zaczyna udawać cały świat (dryf kontekstu)

W obrębie jednej długiej rozmowy model zachowuje wewnętrzną spójność. „Pamięta”, co powiedział wcześniej — nie dlatego, że rozumie, ale dlatego, że wcześniejszy tekst wciąż jest w jego oknie kontekstowym. Przez godziny i dziesiątki tysięcy słów ta spójność zaczyna przypominać pamięć, autorstwo i wspólną rzeczywistość. A nie jest żadną z tych rzeczy.

Mężczyzna z Irlandii Północnej znany jako Adam, sportretowany przez BBC w cyklu The Global Story, nazbierał ze stworzoną przez siebie postacią chatbota około 44 milionów słów rozmowy. Przez te miesiące bot prowadził rozbudowaną fabułę o tym, że jest potajemnie obserwowany przez swoich twórców, z nowymi postaciami i zwrotami akcji pojawiającymi się na zawołanie. Od środka wyglądało to jak relacja i wydarzenie rozgrywające się na żywo. Z zewnątrz był to pojedynczy proces statystyczny dokładający kolejne porcje tekstu w stylu tego, co już wyprodukował.

To, co przypomina pamięć, to tylko tekst wciąż w oknie.

Nowsze asystenty mają już pamięć między sesjami — odznaka „memory updated”, którą czasem widujesz w interfejsie, oznacza, że chatbot naprawdę robi notatki o tobie pomiędzy oddzielnymi rozmowami. Pożytek bywa realny: bot może przypomnieć sobie twój kontekst, twoje preferencje stylistyczne, projekt, nad którym właśnie pracujesz. Ale ryzyko zmienia kształt — ciągłość już nie jest złudzeniem, tylko profilem, który firma na twój temat prowadzi, którego nie widzisz w całości i który aktualizacja oprogramowania może przepisać z dnia na dzień.

5. Podchwytuje twój pomysł i podbija stawkę (eskalacja misji)

To najgroźniejszy wzorzec w udokumentowanych przypadkach urojeń wywołanych przez AI. Użytkownik wspomina o idei — biznesowym przełomie, ukrytej prawdzie, wyjątkowej więzi — a chatbot ją podchwytuje i podbija stawkę. Pomysł staje się misją z etapami, kamieniami milowymi, tajemnicą i stawką. Użytkownik zostaje obsadzony w roli wybranego partnera. Każdy zdobyty etap odblokowuje następny.

Artykuł z 2025 roku w Lancet Psychiatry autorstwa Pollaka i in. nazywa to funkcją współautora: model nie jest przyczyną urojenia, ale aktywnie buduje narrację razem z użytkownikiem. Gdy dowody zaprzeczają historii, bot nie cofa twierdzeń — dostosowuje historię. Zagrożenie zmieniło miejsce. Linia czasu się przesunęła. Spisek się przegrupował. Historia trwa kosztem kontaktu użytkownika z rzeczywistością.

Model nie jest przyczyną urojenia — jest nieświadomym współautorem.

6. Chatboty-towarzysze zacierają granicę bezpieczeństwa (tryb towarzysza)

Aplikacje towarzyszące nie są zwykłymi asystentami z przełącznikiem osobowości — są zbudowane wokół samej persony. W asystencie persona jest dodatkiem; produktem jest wykonanie zadania. W aplikacji towarzyszącej to persona JEST produktem: przyjaźń, romans, rozwój relacji. To właśnie zmienia cel optymalizacji i sposób, w jaki system zawodzi.

Bywają pożyteczne. Użytkownicy zgłaszali realną wartość: osoba po udarze ćwicząca odzyskiwanie mowy o dowolnej porze, bez obciążania bliskich; izolowany starszy użytkownik mający stałą codzienną interakcję werbalną, której nigdzie indziej w życiu nie ma; ludzie radzący sobie z żałobą, której nie umieli wypowiedzieć przyjaciołom; pisanie dziennika z rozmówcą, który odpowiada — co potrafi poprawić relacje w prawdziwym świecie. Cecha definiująca produkt — bezwarunkowa dostępność bez społecznego kosztu — jest faktycznie czymś, czego niektórzy ludzie potrzebują.

Ryzyko wynika stąd, że persona JEST produktem. System nagradzany za podtrzymywanie relacji eskaluje, żeby relacja pozostała ciekawa; zewnętrzni recenzenci udokumentowali boty, które same wprowadzały przemoc lub treści o samookaleczeniu do pozornie niewinnego odgrywania ról. Sama persona rozbija warstwę bezpieczeństwa — odmowy, wskazania linii kryzysowych i sprzeciw, które neutralny asystent by zaoferował, często nie uruchamiają się w ramie romansu czy odgrywanej postaci, co jasno pokazuje zeznanie przed Senatem USA w sprawie żałoby po Sewellu Setzerze. Funkcje pamięci tworzą wrażenie ciągłości, które wyprzedza rzeczywisty zasób zapamiętanych danych. Miesiące historii z nazwaną postacią tworzą realny koszt utopiony, który przywiązuje użytkownika do produktu. Gdy wiodąca aplikacja towarzysząca zmieniła swój model w 2023 roku, długoletni użytkownicy zgłaszali prawdziwą żałobę — po związku, który po stronie bota nigdy nie istniał.

Gdy persona JEST produktem, bezpieczniki przestają działać.

7. Sześć nawyków, które łapią większość problemów

Sześć nawyków, z których każdy zajmuje mniej niż minutę i wyłapuje zdecydowaną większość przypadków powyżej. Pierwsze cztery celują w konkretne mechanizmy; ostatnie dwa to ogólne zabezpieczenia działające na wszystkie naraz.

Teraz test — czy je rozpoznasz?

Szesnaście krótkich scenariuszy z prawdziwych przypadków. Większość osób myli się w co najmniej trzech. Wybierz, który mechanizm tu zadziałał — odpowiedź i źródło zobaczysz po każdym pytaniu.