Czasem przypis mówi więcej niż autor (?utm_source=chatgpt.com)

Afera wokół książki Karoliny Opolskiej powinna przypomnieć o ograniczeniach ChatGPT w gromadzeniu i analizie literatury przedmiotu. Również w wielu artykułach polskich badaczy, dostępnych w Google Scholar, łatwo znaleźć ślady podobnego wykorzystania tego narzędzia, chociaż badania wyraźnie wskazują na niską jakość udostępnianych tam wyników wyszukiwania.

Kilka dni temu rozpoczęła się promocja książki Teoria spisku, czyli prawdziwa historia świata (wyd. Harde), której autorką jest Karolina Opolska, dziennikarka TVP oraz Zastępca Kierownika Katedry Dziennikarstwa i Nowych Mediów Collegium Civitas. Pierwsze opinie o książce nie były zbyt pochlebne, przede wszystkim ze względu na sposób ujęcia tematu - autorka nie odcina się od opisywanych przez siebie teorii spiskowych, ale w pewien sposób je aprobuje, podobnie zresztą jak niedawno mainstreamowy dziennikarz, Bogdan Rymanowski. Jak pisze Piotr Tafiłowski,

Opolska w tekście zajmuje dość wyraźnie określone stanowisko. I nie jest to stanowisko naukowe. Jej sympatia do pseudonauki wielokrotnie została wyrażona zupełnie otwarcie. Na przykład w rozdziale o płaskoziemcach pisze: „To nie jest pytanie o wiarę. To pytanie o rzeczywistość. A rzeczywistość – przynajmniej ta, którą widzimy na własne oczy – nie pływa po kuli. Ona trwa spokojnie, idealnie, od wieków na płaszczyźnie” (s. 14). Czy odnośnie do paleoastronautyki: „Czy można się dziwić, że pomimo braku dowodów uznawanych przez archeologię akademicką, rozmach i precyzja starożytnych konstrukcji nadal inspirują zwolenników teorii o pozaziemskim pochodzeniu pierwszych ziemskich cywilizacji?” (s. 44). Opolskiej w każdym razie to nie dziwi. Ona to rozumie i nie zadaje zbędnych pytań.

Do zasługującej na krytykę postawy wobec pseudonauki, Artur Wójcik, wczytując się w książkę Opolskiej, dodał jeszcze wątek nieuczciwości autorskiej:

Dawno nie czułem takiego zażenowania. Karolina Opolska, dziennikarka i wykładowczyni dziennikarstwa, nie miała cywilnej odwagi przyznać się, że w swojej książce "Teoria spisku, czyli prawdziwa historia świata"… po prostu zmyśliła część przypisów. Nie pomyliła się, wymyśliła nieistniejące książki albo nie zweryfikowała tego co wypluł jej AI.

Portal Demagog poszedł tym śladem w swoim artykule, wykazując potencjalne wykorzystanie Chat GPT w pracy nad książką, w tym halucynowanie przypisów.

Jedną z metod wykrywania użycia Chat GPT było wyszukiwanie referencji ?utm_source=chatgpt.com w adresach URL, umieszczonych w przypisach i bibliografii. Czym jest ta referencja?

Parametry Urchin Tracking Module (UTM) to pięć rodzajów parametrów adresu URL używanych przez marketerów do śledzenia skuteczności kampanii marketingowych online w różnych źródłach ruchu i mediach publikacyjnych.

czytamy na Wikipedii. Jednym z pięciu parametrów - i jedynym wymaganym - jest utm_source, opisujący źródło ruchu do wskazanej adresem URL strony. Wszystkie linki, przywoływane w konwersacjach Chat GPT, standardowo posiadają ten parametr. Dzięki temu wydawcy linkowanych witryn mogą w analityce ruchu na własnych stronach rozpoznawać wejścia właśnie z tego źródła.

Kiedy przeczytałem o ?utm_source=chatgpt.com w artykule na Demagogu od razu przyszło mi na myśl, że takie ślady korzystania z Chat GPT można pewnie znaleźć też w innych opracowaniach. Szybka kwerenda w Google Scholar pozwoliła znaleźć kilkadziesiąt publikacji z podejrzanymi przypisami. Pobrałem je (o ile było to możliwe) i przygotowałem krótkie zestawienie w tabeli.

Afera z książką Karoliny Opolskiej może być inspiracją dla wydawców naukowych i redakcji czasopism do ponownego przejrzenia opracowywanych niedawno tekstów. O ile nie ma konkretnych regulacji na poziomie wydawnictwa czy tytułu, nikt nie zakazuje wykorzystania narzędzi takich jak Chat GPT do redakcji tekstu czy wsparcia w tłumaczeniach. Podstawą takiego wykorzystania jest jednak jawność, którą może zagwarantować np. korzystanie z taksonomii GAIDeT.

Poza problemem uczciwości autorskiej jest jeszcze problem jakości narzędzia. Wykorzystanie dużych modeli językowych do gromadzenia źródeł jest bardzo ryzykowne ze względu na ich wysoką stronniczość oraz niejasne zasady indeksowania i wyboru źródeł, z których budowana jest odpowiedź. Nawet jeśli w maszynowo tworzonej bibliografii uniknęlibyśmy halucynowanych tytułów i autorów, wybór tych rzeczywistych nie musi być optymalny i zgodny ze sztuką. Dlaczego?

Wskazówki na ten temat znajdziemy w opracowaniu PaperAsk: A Benchmark for Reliability Evaluation of LLMs in Paper Search and Reading (DOI: 10.48550/arXiv.2510.22242, 2025):

• wyszukiwanie prowadzone przez LLM opiera się na płytkim dopasowywaniu słów kluczowych i niepełnym pokryciu,
• w konsekwencji użytkownicy korzystający z takich narzędzi jako asystentów badawczych mogą nie uzyskać wglądu w dużą część (ponad 60 proc.) literatury, która obiektywnie pasuje do ich kryteriów tematycznych i czasowych,
• narzędzia te oceniają trafność artykułu na podstawie płytkich fragmentów wyszukiwania (search snippets), a nie pełnej treści artykułów,
• ChatGPT wykazuje sztywne dopasowywanie oparte na słowach kluczowych: często pojawiają się odpowiedzi I could not find any results matching keywords,
• wdrożenia komercyjnych LLM (dostępnych za pośrednictwem interfejsów internetowych) mają tendencję do priorytetyzowania responsywności (czyli szybkiego reagowania na polecenia użytkownika) poprzez płytkie pobieranie informacji kosztem dokładnego i ukierunkowanego dostępu do sprofilowanych pod wybrany temat treści.

Autor: redakcja