Skuteczna maszynowa ekstrakcja stylu to poważne wyzwanie dla literatury

Po raz kolejny okazuje się, że duże modele językowe, odpowiednio dostrojone, mogą z powodzeniem imitować styl literacki uznanych autorów i autorek. Skuteczna ekstrakcja stylu i jego powielanie w generatywnych wytworach jest faktem. Czy próbą racjonalizowania rosnących możliwości LLM-ów będzie szukanie wartości literatury nie w gotowym tekście, ale procesie twórczym i osobistej perspektywie pisarza i pisarki?

Rozwój dużych modeli językowych wymaga dobrej literatury - przekonują autorzy opracowania Can Good Writing Be Generative? Expert-Level AI Writing Emerges through Fine-Tuning on High Quality Books (DOI: 10.1145/3772318.3791276, 2026), kolejnego już, które dokumentuje zmniejszający się dystans między kreatywnym stylem pisarskim uznanych autorów i autorek a możliwościami dostrojonych na ich pracach LLM-ów.

Te same wartości, które miały rozwijać [od lat 60. XX wieku - MW] programy kreatywnego pisania - spójność, indywidualny głos oraz przemyślana struktura narracyjna - sprawiły, że powstające w ramach tych kursów teksty stanowią szczególnie wartościowe dane treningowe dla dużych modeli językowych (LLM). Modele uczone na starannie zredagowanych książkach i artykułach mają tendencję do generowania bardziej spójnych i trafnych wypowiedzi, co jest kluczowe dla postrzegania ich jako inteligentnych systemów.

czytamy na wstępie opracowania. Brak ludzkiego wkładu sprawiałby, że wytwory dużych modeli byłyby generyczne i homogeniczne, pełne klisz, przesadnie ozdobnego stylu, nieporadnej składni oraz zbędnej ekspozycji. W ramach badania postanowiono sprawdzić jakość generowanych maszynowo tekstów, dając je do oceny grupie 28 pisarzy i pisarek oraz 131 osobom, które nie miały doświadczenia literackiego.

Do testu wybrano 50 profesjonalnych autorów i autorek, posiadających rozpoznawalny styl, takich jak Virginia Woolf, William Faulkner, George Saunders, David Foster Wallace, Joan Didion, Ottessa Moshfegh czy Annie Ernaux. Do udziału w badaniu zaproszono te same pisarki i pisarzy, które weszły do grona oceniającego jakość tekstów maszynowych. Były to osoby studiujące na kierunkach kreatywnego pisania, prowadzonych na prestiżowych amerykańskich uczelniach. Grupę tę określono jako jako nowe, obiecujące głosy literackie. Ich zadaniem było przygotować fragment (od 200 do 450 słów), który naśladowałby styl jednego z wybranych autorów/autorek i podejmował określony temat.

To samo zadanie miały wykonać duże modele językowe: GPT-4o, Claude 3.5 Sonnet i Gemini 1.5 Pro oraz GPT-4. Próbowano wygenerować teksty imitujące styl wybranych autorów, wykorzystując dwa sposoby: wysyłano do trzech pierwszych wymienionych wyżej modeli rozbudowane prompty z fragmentami oryginalnych tekstów danego autora czy autorki (in-context prompting) oraz dostrojono (fine tuning) model GPT-4 oryginalnymi tekstami (ale nie wszystkimi z puli). Sędziowie - w tym autorzy fragmentów poddawanych ocenie - porównywali następnie teksty ludzkie i maszynowe pod kątem jakości i wierności stylowi oryginału. Z oczywistych względów osoby, które brały udział w zadaniu pisarskim, nie oceniały stworzonych przez siebie tekstów. Wybór lepszego tekstu zależał od wyników głosowania, w którym dla każdej pary (tekst ludzki i tekst maszynowy, wytworzony przez rozbudowany prompt lub fine-tuning) brały udział trzy osoby z grupy pisarzy i pisarek oraz pięcioro osób bez doświadczenia literackiego.

Maszynowe teksty imitujące styl, wygenerowane za pomocą rozbudowanych promptów, okazały się raczej słabej jakości: eksperci (pisarze i pisarki) w ponad 80 proc. przypadków preferowali tekst napisany przez człowieka. Jednak w przypadku oceny tekstów wygenerowanych po dostrojeniu modeli, sytuacja zupełnie się odwróciła - w ponad 60 proc. przypadków wskazali oni na wygenerowany tekst jako lepszy jakościowo i lepiej oddający styl oryginału. Laicy preferowali teksty generowane maszynowo, niezależnie od metody, jaką je wytworzono.

Wykresy dokumentują preferencje osób oceniających teksty pisane przez człowieka i generowane za pomocą rozbudowanych promptów i dostrojonych modeli. Oceny odnoszą się do jakości tekstu oraz jakości imitowania stylu wybranego autora. Źródło: 10.1145/3772318.3791276, 2026.

Autorzy opracowania udostępnili dane badawcze, w których znajdziemy m.in. oryginalne fragmenty prozy literackiej oraz jej imitacje, generowane na dwa sposoby (rozbudowane prompty i fine-tuning). Poniższe cytaty z pliku Human-AI_anon.json to najpierw oryginalny fragment z Annie Ernaux (z powieści La honte), a następnie jego imitacja, wytworzona przez dostrojony GPT-4:

1)

One evening ‒ it was our last day ‒ in Tours, we had dinner in a brightly-lit restaurant where the walls were lined with mirrors, frequented by a sophisticated clientele. My father and I were seated at the end of a long table set up for the group. The waiters were paying little attention to us; we had to wait a long time between courses. At a small table nearby sat a girl aged fourteen or fifteen, suntanned, in a low-cut dress, and an elderly man who appeared to be her father.They were talking and laughing quite freely, completely at ease, oblivious of other people. She was dipping into a thick milky substance in a glass ‒ some years later I learnt this was yogurt, which people like us had never heard of. I caught sight of myself in the mirror, pale and sad-looking with my spectacles, silently sitting beside my father, who was staring into the far distance. I could see everything that separated me from that girl yet I wouldn’t have known what to do to resemble her.Afterward, my father complained with unusual vehemence about this restaurant, where he claimed we had been served mashed potatoes made with “pig slop,” white and tasteless. Several weeks later, he was still venting his anger over the meal and its disgraceful “pig slop.” Although he never actually said so ‒ it was probably then that I began decoding his speech ‒ it was his way of expressing resentment at having been treated with contempt because we were not chic customers who ate “à la carte.

2)

The restaurant was an annex to the Trois-Couronnes.I had a pale face and was wearing my spectacles that day, which made me look sad. That wasn't the issue, though. My father and I had been seated at the table reserved for groups, on the far side of the dining room, and were ignored throughout the meal. At the next table, there was a man with his daughter, who was older than I was, maybe seventeen, sleek and tanned with short blonde hair. I remember a long, gilt-framed mirror hanging above their heads, reflecting endless repetitions of identical people. The girl talked confidently to her father and laughingly spooned up her yogurt. In those days, I didn't know what yogurt was. She seemed at home, oblivious to her surroundings, wearing no jacket or headscarf, simply her checkered summer dress. She made me feel awkward and ashamed, although I couldn't explain why, my only desire being to leave as soon as possible. Later on, walking along the streets, my father kept saying, "Those mashed potatoes looked like pig slop." For the first time, I realized that he had been marking time to continue, repeating the reason why he hadn't eaten anything on his plate. I didn't think of asking him what difference it made what the potatoes looked like. Deep down, he was upset at being treated as a second-class customer just because we weren't dining "à la carte" like the people sitting near us.

Warto dodać, że dane zawierają też automatyczne oceny tego, czy dany fragment (wygenerowany w wybranym modelu) jest ludzkiego czy maszynowego pochodzenia (skorzystano z Pangrama). Dla przytoczonej wyżej imitacji prozy Ernaux ocena miała wartość Unlikely AI (0.0009806950887044272).

Autorzy badania przeprowadzili pogłębione wywiady z częścią grupy pisarzy i pisarek. Rozmowy miały zbadać to, jak można racjonalizować preferowanie tekstów maszynowych nad ludzkimi i jakie znaczenie mają dla kursów kreatywnego pisania i rynku wydawniczego rosnące możliwości dużych modeli językowych. Być może to właśnie najciekawsza wiedza, którą udało się wypracować.

Trudno oczekiwać, żeby osoby, które swoją przyszłość wiążą z tworzeniem literatury (jakkolwiek to brzmi), z sympatią i optymizmem spoglądały na rosnący potencjał LLM-ów. Wiele z nich przyznało, że doznało szoku, kiedy okazało się, że wybrali tekst maszynowy. Zderzenie własnego dystansu wobec AI z wyraźną preferencją tekstów maszynowych w badaniu musiało zostać jakoś wytłumaczone. Jak? Na przykład przez odwołanie się do nieświadomego przedkładania płynności czy czytelności tekstu nad jego unikalnością i nowatorską konstrukcją. Próbą racjonalizacji było też szukanie wartości tekstów literackich w procesie twórczym (inspiracja, wysiłek, poprawki) raczej niż w gotowym materiale. Ludzkie pisanie miałoby być sposobem widzenia albo sposobem myślenia, a automatyczne generowanie tekstów eliminować to, co w pisaniu jest efektem procesu, aktem pozbawionym wartości dla twórcy (autora czy autorki). Twórcze pisanie może polegać na mieszaniu znanych motywów (co coraz lepiej udaje się LLM-om), ale ma wymagać też pewnego osobistego spojrzenia, dzięki któremu może powstać coś nowego.

Racjonalizowanie rosnącej jakości dużych modeli w generowaniu tekstów literackich polega więc przede wszystkim na akcentowaniu osobistej perspektywy i twórczego wkładu - wartości, które dla LLM-ów są niedostępne. Inną drogą jest odwoływanie się do - prawdziwej lub tylko wyobrażonej - potęgi technologii. Oto teksty maszynowe mogą być lepsze, ponieważ powstają dzięki ogromnym zbiorom danych i potężnym mocom obliczeniowym. W odróżnieniu od człowieka, któremu przecież w tym badaniu nakazano przygotować imitujący tekst, duże modele językowe potrafią skutecznie wykrywać wzorce gramatyczne i strukturalne stylu, na którego dziełach został dostrojony. Być może przewaga LLM-ów wyraża się jedynie w imitacji, ale w tworzeniu oryginalnych dzieł człowiek wciąż nie ma konkurencji.

Ostatnim sposobem racjonalizacji jest odwołanie się do własnego doświadczenia jako sędziego w tym teście: być może, mówili uczestnicy badania, nie mamy dobrych kompetencji w rozpoznawaniu generowanych tekstów. Chociaż może to być przerażające, upokarzające lub przynajmniej wywołujące niepokój to - o ile dobrze rozumiem tę część opracowania - w pewien sposób może być też usprawiedliwiające. To nie LLM-y lepiej od ludzi imitują styl wielkich pisarzy i pisarek, ale to ludzie nie mają kompetencji, żeby wykryć wady takich imitacji i ich maszynowe pochodzenie.

Nawet najdalej posunięta racjonalizacja wyboru tekstów generatywnych nie jest jednak w stanie zakwestionować rzeczywistości, w której odpowiednio dostrojone duże modele językowe mogą generować teksty dobrej jakości. Oczywiście, warto wziąć pod uwagę, że przedmiotem badania były krótkie fragmenty - nie wiadomo, jak modele poradziłyby sobie z konstrukcją fabuły lub wykreowaniem świata przedstawionego. Nie można jednak udawać - i piszę to jako osoba bardzo sceptyczna wobec generatywnej literatury - że duże modele językowe nie mogą być narzędziem do tworzenia wartościowej literatury - wartościowej w znaczeniu użyteczności, a nie ocen krytyki literackiej, literatury, którą ludzie po prostu mogą wybierać zamiast tekstów pisanych przez człowieka. Dzieje się to oczywiście kosztem twórców i twórczyń, ponieważ

dostrajanie modeli na danych objętych prawem autorskim prowadzi do swoistej ekstrakcji stylu (style extraction), która może w istotny sposób osłabiać pozycję autorów na rynku pracy. Chociaż prawo autorskie nie chroni stylu jako takiego, nasze badania pokazują, że modele AI wytrenowane na pełnym dorobku pisarzy potrafią generować teksty, które czytelnicy, w tym również eksperci, oceniają wyżej niż teksty napisane przez ludzi. Wraz z dalszym rozwojem możliwości sztucznej inteligencji zasadniczym pytaniem przestaje być to, czy potrafi ona dobrze pisać, lecz raczej to, jak funkcjonować w świecie, w którym jest już do tego zdolna.

Autor: redakcja