Artykuł sponsorowany
ChatGPT pisze e-maile, tłumaczy, programuje i odpowiada na pytania tak płynnie, że łatwo uwierzyć, iż „wie” albo „rozumie”. W rzeczywistości robi jedną rzecz: przewiduje, jaki kolejny element tekstu najprawdopodobniej powinien pojawić się na ekranie. Zrozumienie tego mechanizmu to najlepszy sposób, żeby wiedzieć, kiedy mu ufać, a kiedy nie.
Wyszukiwarka przechowuje kopie stron w indeksie i zwraca te, które pasują do zapytania. ChatGPT nie ma bazy stron. Ma sieć neuronową – zbiór setek miliardów liczb, tzw. wag – wytrenowaną na ogromnej ilości tekstu. Kiedy wpisujesz prompt, sieć nie szuka odpowiedzi. Oblicza, jaki fragment tekstu jest najbardziej prawdopodobny po Twoim pytaniu, dopisuje go i liczy kolejny. Odpowiedź na 300 słów to kilkaset takich obliczeń wykonanych jedno po drugim. Dlatego tekst „pisze się” na ekranie po kawałku – widzisz kolejne decyzje modelu.
Model nie operuje na słowach, tylko na tokenach – fragmentach tekstu o długości od jednej litery do całego krótkiego wyrazu. Po angielsku jedno słowo to średnio ponad jeden token (ok. 1,3 tokena), po polsku – dwa lub trzy, bo polska fleksja rozbija wyrazy na więcej kawałków. To dlatego limity okna kontekstowego po polsku oznaczają fizycznie mniej tekstu, a model bywa słaby w liczeniu liter w słowie: on tych liter nie widzi, widzi tokeny.
Każdy token jest zamieniany na długi ciąg liczb (tzw. embedding), który koduje jego znaczenie. Słowa o podobnym znaczeniu dostają podobne embeddingi. Dzięki temu model radzi sobie z synonimami, literówkami i parafrazami – porównuje wektory znaczeniowe, a nie dopasowuje litery.
Sercem ChatGPT jest architektura zwana Transformerem, opisana w 2017 roku przez badaczy Google. Jej kluczowy pomysł to mechanizm uwagi (attention mechanism): dla każdego tokenu sieć oblicza, na które inne tokeny w prompcie powinna „zwrócić uwagę”. W zdaniu „Firma opublikowała raport, który zdobył cytowania” słowo „który” nauczy się mocno patrzeć na „raport”. Tak model rozpoznaje odniesienia zaimków i zależności oddalone o tysiące tokenów – i tak „pamięta”, o czym była mowa dziesięć wiadomości wcześniej. Wszystko, co znajduje się w oknie kontekstowym, jest przetwarzane naraz.
Trening przebiega w kilku etapach. Najpierw sieć dostaje biliony tokenów tekstu z internetu, książek oraz kodu i jedno zadanie: zgadnij następny token. Po miesiącach takiego treningu nauczyła się gramatyki, faktów, stylów i – jako efekt uboczny – zyskała zdolność wnioskowania, bo bez niego nie da się dobrze przewidywać tekstu pisanego przez ludzi. Potem przychodzi etap, w którym ludzie oceniają odpowiedzi modelu i uczą go być pomocnym asystentem. To tzw. RLHF (uczenie przez wzmacnianie na podstawie ludzkich informacji zwrotnych). Stąd charakterystyczny styl wypowiedzi ChatGPT: uprzejmy, wyczerpujący, pewny siebie. Niestety, także wtedy, gdy się myli.
Skoro model zawsze produkuje najbardziej prawdopodobny ciąg tokenów, zrobi to również wtedy, gdy brakuje mu danych treningowych (np. z powodu daty odcięcia wiedzy). „Prawdopodobne” znaczy wtedy „brzmi jak coś, co pojawiłoby się w takim miejscu w tekście”, a nie „jest prawdą”. Zapytany o raport, którego nigdy nie widział, wygeneruje liczby w typowym formacie i o typowym rzędzie wielkości. Będą wyglądać wiarygodnie, bo wiarygodny wygląd jest dokładnie tym, co model optymalizuje. Halucynacje najczęściej dotyczą liczb, dat, nazwisk, tytułów i adresów URL – rzeczy, których format model zna lepiej niż faktyczną treść.
Choć ChatGPT potrafi łączyć się z siecią od 2023 roku, to pod koniec 2024 roku wprowadzono zintegrowaną funkcję ChatGPT Search. Gdy model uzna, że pytanie wymaga aktualnych danych, przekształca je w zapytania do wyszukiwarki Bing, pobiera strony, wycina z nich krótkie fragmenty (snippety) i wkleja je do własnego okna kontekstowego. Dopiero na tej podstawie generuje odpowiedź z cytowaniami. Ten proces to RAG (generowanie wspomagane wyszukiwaniem). Halucynacji jest wtedy znacznie mniej, ale nie znikają całkowicie: model nadal może źle zinterpretować poprawne źródło.
Pełny, techniczny opis tego procesu – od tokenizacji, przez embeddingi i mechanizm uwagi, po modele rozumujące i to, jak strony trafiają do odpowiedzi z wyszukiwaniem – znajdziesz w artykule serwisu widocznosc.ai wyjaśniającym, jak działa ChatGPT krok po kroku. To dobre uzupełnienie dla każdego, kto chce zrozumieć, dlaczego w erze GEO (Generative Engine Optimization) model wymienia jedne firmy, a inne pomija.
Modele rozumujące OpenAI – od serii o1 z 2024 roku po tryby rozumowania w aktualnym GPT-5.6 – zanim odpowiedzą, generują ukryty łańcuch myślenia (Chain of Thought) – rozkładają problem na kroki, sprawdzają założenia, poprawiają własne błędy. To wciąż przewidywanie tokenów, ale zoptymalizowane pod kątem poprawnych wyników w matematyce, kodowaniu i zadaniach wieloetapowych. Z kolei wszystko, co wygląda na „robienie” czegoś – obliczenia, analiza pliku Excela, generowanie wykresu – to wywołanie zewnętrznego narzędzia, np. wbudowanego interpretera kodu. Model pisze kod w Pythonie, aplikacja go uruchamia, a wynik wraca do okna kontekstowego. Jeśli zależy Ci na wiarygodnej liczbie, poproś model, żeby napisał skrypt i ją policzył, a nie zgadywał.
Z mechanizmu działania LLM-ów wynikają trzy proste zasady. Po pierwsze: wszystko, czego nie ma w oknie kontekstowym, dla modelu w danej chwili nie istnieje – wklej dokument, zamiast liczyć na jego dane treningowe. Po drugie: liczby, daty i nazwiska sprawdzaj zawsze, niezależnie od tego, jak pewnie brzmią. Po trzecie: jeśli prompt dotyczy aktualnych faktów albo konkretnej marki, wymuś użycie wyszukiwania (ChatGPT Search). ChatGPT to znakomite narzędzie do przetwarzania tekstu i wnioskowania, ale słabe źródło faktów, gdy pracuje bez zewnętrznego materiału. Wiedząc, jak działa pod maską, możesz wykorzystywać go tam, gdzie daje realną wartość.
