Modele językowe o historii: dekontekstualizacja źródeł, potwierdzanie narzucanych interpretacji, kłopoty z chronologią i najnowszą historią Polski
W latach 2023-2025 znormalizowany średni wynik odpowiedzi na maturze z historii wynosił 44 proc. i okazał się rażąco niższy od wyników wygenerowanych przez duże modele językowe (od 87 do 98 proc.). Nie oznacza to jednak, że matura z historii jest źle zaprojektowana albo że modele językowe mają lepszą wiedzę o historii niż polscy uczniowie. Wiedza to nie tylko znajomość faktów i dat, ale też umiejętność poruszania się między nimi i zdolność krytycznego rozumienia tekstów, a z tym modele językowe mają wciąż ogromne problemy.
Egzaminy maturalne z historii są metodologicznie poprawnym punktem odniesienia dla oceny umiejętności historycznych, ponieważ sprawdzają zarówno wiedzę faktograficzną, jak i rozumowanie historyczne, [kształtowane - MW] w ramach krajowego programu nauczania - piszą autorzy opracowania Lost in Historical Time? A Polish History Matura Benchmark for Large Language Models (DOI: 10.48550/arXiv.2608.12343, 2026). Czy ten system rzeczywiście działa i czy kształtowana tam wiedza i myślenie historyczne są odpowiedniej jakości nie jest tu przedmiotem dyskusji - w opracowaniu traktuje się maturę jako narzędzie formatowania pewnego wiedzowego status quo. A skoro mamy już gotową i systemowo przyjętą propozycję tego, co to znaczy znać i rozumieć historię, możemy wykorzystać ją do testowania jakości modeli językowych.
Nie jest to pierwsze badanie możliwości modeli językowych w zakresie wiedzy i interpretacji historycznych - zainteresowani mogą sięgnąć np. do metod i danych z benchmarku HIST-LLM, testującego wiedzę historyczną na poziomie eksperckim (DOI: 10.52202/079017-1016, 2025), dostępnych w Zenodo. Polskie badanie ma przy tym tę zaletę, że dotyczy wiedzy na poziomie maturalnym (szerszy zasięg społeczny) i oczywiście, że jest polskie… Wyniki benchmarku HIST-LLM wskazywały na silne uprzedzenia i braki w wiedzy modelu dla tematów spoza historycznego mainstreamu (tutaj historii kontynentu amerykańskiego). Badanie poznańskich autorów pozwala wskazać na podobne uprzedzenia i braki w odniesieniu do historii Polski. Dane z badania (pytania, odpowiedzi, prompty) dostępne są w oficjalnym repozytorium.
Jak badać jakość modeli?
Autorzy badania wykorzystali arkusze maturalne z historii z lat 2023-2025. Zawierają one zestawy pytań zgrupowanych w zadania, korzystają też z tekstów źródłowych, materiałów wizualnych, map i tabel. Elementem pracy nad arkuszem jest również napisanie krótkiej wypowiedzi na co najmniej 600 słów. Taki zasób stał się podstawą benchmarku, w którym testowano osiem modeli: GPT-4o (2024), GPT-5.4 (2026), Claude Sonnet 3.7 (2025) i 4.6 (2026), Gemini 2.5 Pro (2025) i 3.1 Pro (2026) oraz Grok 4 (2025) i Grok 4.20 (2026). To modele dostępne w chmurze, z których za pomocą webowych interfejsów korzystać mogą uczniowie i nauczyciele - benchmark wykonany na modelach działających lokalnie i z otwartymi wagami byłby może i interesujący, ale jego wyniki interpretować trzeba by było dość wąsko - trudno uznać taki sposób korzystania z “AI” za dominujący. Modelom zadawano pytania i odbierano wygenerowane odpowiedzi za pośrednictwem platformy OpenRouter.
Oczywiście w omawianym benchmarku nie chodziło o sprawdzenie, jak modele poradziłyby sobie na maturze (nie ma to przecież żadnego znaczenia), ale o oszacowanie ich jakości względem podstawowych kompetencji i wiedzy historycznej. Skoro uczniowie korzystają z “AI”, dobrze sprawdzić, jakiej jakości może to być wsparcie. Cenne w omawianym badaniu jest to, że autorzy zestawili rzeczywiste wyniki egzaminów maturalnych z odpowiedziami generowanymi przez modele, a te ostatnie sprawdzała osoba pracująca przy ocenie prac maturalnych z historii. To zdecydowanie bardziej wymagające rozwiązanie niż stosowanie samych modeli do oceny automatycznie generowanych odpowiedzi (LLM-as-a-Judge). Biorąc pod uwagę uprzedzenia i ograniczenia jakości modeli wobec historii Polski (o czym za chwilę), zastosowanie automatycznej oceny odpowiedzi byłoby błędem.
Stronniczość i brak stabilności
Na czym polega problem z wykorzystaniem modeli językowych do odpowiedzi na pytania historyczne? Mamy tutaj przynajmniej kilka wyzwań: wiedza modelu może nie obejmować tematów, o które pytamy, albo może być mocno stronnicza (bias), model może mieć problem z chronologią i następstwem wydarzeń, może też nie radzić sobie ze skutecznym przetwarzaniem języka tekstów źródłowych (szczególnie jeśli te pisane są specyficznym stylem lub dawną polszczyzną). Wiedza o historii i jej rozumienie to przecież nie tylko znajomość faktów, ale też ich szeregowanie w czasie i interpretowanie oraz umiejętna praca ze źródłami jako specyficznie sformatowanym przekazem z przeszłości. Dlatego trudno na serio brać opinie o zastępowaniu historyków i historyczek modelami językowymi, trudno też jednak zamykać oczy na powszechną dostępność modeli działających w chmurze i ich użycie w szkole. Ich wady i ograniczenia nie zmieniają nic w profesjonalnej pracy historycznej, ale w edukacji mogą być źródłem kłopotów, na przykład poprzez narzucanie określonych ram interpretacji złożonych procesów historycznych, pomijanie mniej znanych, ale istotnych faktów i danych czy stronniczość w kierunku historii politycznej i militarnej.
Są to jednak problemy, na które raczej nie zwraca się uwagi, skoro model jest w stanie poprawnie podać datę śmierci Kazimierza Wielkiego albo wygenerować punkty z podstawowymi przyczynami rozbiorów. Autorzy badania pokazują, że w zadaniach tego typu modele osiągają zdecydowanie lepsze wyniki niż polscy maturzyści: średni znormalizowany wynik uczniów z trzech lat wynosił 44 proc. i był zdecydowanie niższy od wyników modeli (od 87 do 98 proc.). Nie ma jednak sensu popadać w przesadę i wieszczyć upadek polskiej edukacji historycznej, ponieważ - jak podkreślają autorzy - wyniki poszczególnych modeli charakteryzują się znaczną niestabilnością w zależności od kategorii tematycznych i rodzajów źródeł. Uczniowie rozwiązują testy maturalne z historii raczej przeciętnie, modele za pomocą generowanych odpowiedzi uzyskują wspaniałe wyniki w różnych tematach, ale w innych wypadają bardzo słabo. Porównanie ludzkich i maszynowych wyników wymagało zresztą odpowiedniej normalizacji danych o poprawnych odpowiedziach i zastosowania zaawansowanych narzędzi statystycznych - nie możemy więc ich interpretować jako jednoznacznego dowodu na wyższość modeli językowych w rozwiązywaniu zadań maturalnych z historii.
Z pewnością warto czytać ten artykuł jako wskazanie ograniczeń dużych modeli językowych w pracy z materią historyczną, a nie zbiór argumentów za taką czy inną formą egzaminu maturalnego z historii.
Problemy z chronologią i interpretacją źródeł
Wspominałem już wyżej o problemach LLM-ów z chronologią. W artykule How LLMs Make Sense of Time czytamy:
Ludzie doświadczają upływu czasu jako zjawiska płynnego i ciągłego dzięki temu, w jaki sposób mózg przetwarza nasze doświadczenia. Modele językowe otrzymują pewne kompetencje rozumienia upływu czasu w sposób pośredni, poprzez odniesienia do dat zawarte w ogromnych zbiorach tekstów, na których są trenowane albo poprzez wskazówki gramatyczne i językowe, reprezentujące różne okresy czy momenty w czasie. Ich interakcje mają charakter dyskretny, a nie ciągły, i koncentrują się wokół danych wejściowych oraz wyjściowych rejestrowanych za pomocą znaczników czasu.
W pracy LLM-ów czas nie jest więc istniejącą niezależnie linią ciągłą, do której można się odwoływać, ale tekstowym lub gramatycznym znacznikiem, który ewentualnie można przetworzyć tak, żeby dało się z nim pracować matematycznie. Konsekwencją takiego stanu jest udokumentowana i przeanalizowana przez poznańskich badaczy temporal disorientation, co przetłumaczyć można po prostu jako zagubienie w czasie, brak zdolności do skutecznego poruszania się po linii czasu:
modele generowały częściowo wiarygodne odpowiedzi - poprawnie identyfikowały istotne postaci lub pojęcia, ale umieszczały je w niewłaściwym okresie lub w złej kolejności.
Kolejnym problemem jest dekontekstualizacja źródeł, kiedy
model rozumuje na podstawie treści semantycznej dostarczonego źródła, zamiast traktować je jako przedmiot analizy historycznej.
Źródło historyczne, co oczywiste, czytane musi być odpowiednio krytycznie, z uwzględnieniem kontekstu powstania, osoby autora lub instytucji, która je wytworzyła, gatunku itp., ostatecznie też z uwzględnieniem realiów historycznych, w których powstało. Tymczasem modele odczytują je wyłącznie semantycznie jako źródło obiektywnej wiedzy: ryzykownie upraszczając, fragment Kroniki Galla ma w takim wypadku ten sam status co opis hasła na Wikipedii.
I dalej, duże modele językowe mogą być interpretowane jako pewne mechanizmy wspierające globalizację, spłaszczające obraz rzeczywistości zgodnie z wrażliwością i świadomością ich wydawców, i następnie reprodukujące go przy każdym użyciu. Efekt ten udało się opisać badaczom na podstawie analizy odpowiedzi modeli na pytania związane z polską historią. Efektywność (poprawność) badanych modeli wobec pytań o historię Polski była niższa aż o 10 pkt proc. w porównaniu z efektywnością pracy z pytaniami o historię powszechną! Ich skuteczność spadała też przy pytaniach o czasy najnowsze, w tym o okres PRL-u. Być może - to już mój pomysł - wiedza modeli dotycząca starożytności czy średniowiecza jest bardziej zbieżna ze szkolnym kanonem (szkolne pytania o starożytność mogą być podobne w Polsce, we Francji czy nawet w USA), a jej braki widać wyraźniej wraz z rozwojem badań historycznych dziejów poszczególnych narodów.
Rankingi modeli według epoki historycznej (wyłącznie pytania wymagające krótkiej odpowiedzi). Źródło: DOI: 10.48550/arXiv.2608.12343, 2026.
Osobnym wątkiem, który wyróżniają autorzy badania, jest silna tendencja modeli do potwierdzania tez zaproponowanych w zadaniach polegających na przygotowaniu krótkiej pisemnej wypowiedzi. Tezy te w pracy maturalnej można swobodnie odrzucać, proponując odpowiednie argumenty, jednak modele wykazują tendencję do bezkrytycznego popierania zaproponowanych interpretacji, co autorzy określają jako alignment bias.
Słyszę czasem, że historia szkolna to tylko daty i fakty, że nie ma tam przestrzeni na rozumienie zjawisk historycznych. Jak piszą autorzy, obecny kształt matury z historii niespecjalnie wymusza posiadanie takiej kompetencji (schemat oceniania jest niemal niewrażliwy na kierunek argumentacji w esejach maturzystów), nadal jednak zakłada sprawne poruszanie się po osi czasu i łączenie informacji z różnych porządków. Z tym, jak się okazuje, mogą mieć problem niektórzy maturzyści, ale duże modele językowe mają z tym problem systemowy.
Autor: redakcja