Chyba nie warto przejmować się recenzjami książek na platformach
Analiza ponad 600 tys. recenzji z platformy Goodreads pokazuje, że oceny książek publikowane w takich serwisach więcej mówią o preferencjach czytelników i czytelniczek niż o rzeczywistej treści ocenianych tytułów 😢.
W pracy Are some books better than others? (DOI: 10.48550/arXiv.2503.02671, 2025) analizowano oceny liczbowe (gwiazdkowe) oraz recenzje tekstowe, dodawane i publikowane przez ponad 67 tys. użytkowników i dotyczące prawie 50 tys. książek z najróżniejszych gatunków i na bardzo różne tematy. Zebrano do dwudziestu losowych opinii od każdego z użytkowników.
Pytaniem badawczym było to, czy wpływ na wydźwięk recenzji (oceny) książki ma przede wszystkim jej treść czy raczej preferencje czytelnika? Czy dobra książka to kategoria, którą można wyznaczyć w obiektywny sposób, czy raczej zależy to od gustu osoby czytającej? Wyobraźmy sobie, że pewna grupa osób ocenia ten sam tytuł. Każda z nich daje jednak inną ocenę. Skąd biorą się te różnice?
Wiemy, że wiele ocen wystawianych jest dla tej samej książki, ale też wiele ocen wystawianych jest przez konkretnego użytkownika Goodreads. W badaniu założono, że każda książka ma określoną podstawową (średnią) ocenę, podobnie każdy użytkownik ocenia książki pewną podstawową (średnią) oceną. Obie wartości da się odróżnić od średnich dla wszystkich ocen książek i średnich dla wszystkich oceniających. Kiedy badamy, jak bardzo ocena konkretnej książki lub ocena wystawiona przez konkretnego użytkownika różni się od tej globalnej średniej i jak się różni, możemy rozpoznać, czy źródłem tej różnicy jest treść samej książki czy pogląd czytelnika.
Dzięki zastosowaniu odpowiednich metod statystycznych (współczynnik korelacji wewnątrzklasowej, ICC) do oceny wariancji (odchyleń od tej globalnej średniej) wykazano, że różnice między recenzentami odpowiadały za nieco ponad 30 proc. wariancji ocen na Goodreads, podczas gdy różnice między samymi książkami jedynie za 3.5 proc. Oznacza to, że ponad osiem razy ważniejsza dla oceny książki była preferencja recenzenta niż jej treść.
W ramach badania przygotowano też symulacje, mające wykazać zgodność ocen (rating consistency) dodawanych przez wybranego użytkownika. Potwierdzono w nich, że oceny wystawione przez tego samego czytelnika dla różnych książek są ze sobą bardzo spójne - jeśli czytelnik A oceniał dotąd książki zazwyczaj na cztery gwiazdki, to jest duża szansa, że jego kolejna ocena również osiągnie podobną wartość. Co więcej, jak oszacowano, to, że recenzent wspomni o poczuciu "uzależnienia" od książki, będzie dwukrotnie bardziej prawdopodobne, jeśli ten sam recenzent użył już takiego sformułowania w odniesieniu do innego tytułu, niż gdyby inne recenzje tej samej książki zawierały takie stwierdzenie.
Jaki jest główny wniosek tego badania? To nie treści książek, a nawet ich gatunek czy temat, ale indywidualne preferencje i perspektywa czytelników kształtują oceny na platformach takich jak Goodreads.
Co to znaczy dla wydawców, autorów i autorek? Być może poza ewidentnymi patologiami takimi jak review bombing, oceny publikowane na Goodreads czy LubimyCzytać nie muszą mieć znaczenia merytorycznego. Autorzy takich recenzji ujawniają raczej specyficzne interpretacje własnych preferencji i emocji po lekturze niż odnoszą się do wartości tekstu.
Być może wyniki omawianego badania mogą być ważnym argumentem za istnieniem niezależnej od platform, profesjonalnego i nieanonimowego pola recenzenckiego w postaci niszowych czasopism literackich, krytyki prasowej, ocen wystawianych przez szeroko rozpoznawanych, ale autentycznych agentów wpływu w liternecie.
O ciemnej stronie Goodreads pisał dwa lata temu Guardian, wskazując na patologie społecznościowego oceniania takie jak review mobing, stalkowanie, wyrażanie nienawiści wobec autorów czy tematów oraz zwykłe trollowanie.
Are some books better than others? (DOI: 10.48550/arXiv.2503.02671, 2025)
Dane dostępne na platformie OSF (DOI: 10.17605/OSF.IO/46H7S)
