benchmark

Wiarygodne symulowanie tekstów z epoki udaje się w pełni dopiero przy zastosowaniu modelu trenowanego od podstaw wyłącznie na danych historycznych (takiego jak GPT-1914). Rozwiązania oparte na promptowaniu kontekstowym współczesnych modeli albo ich dostrajaniu (fine-tuning) okazują się nieefektywne, ponieważ nieuchronnie przemycają w tekście współczesną wiedzę, normy i style języka. Mimo to nawet osoby z wykształceniem kierunkowym mają problem z poprawnym zidentyfikowaniem symulacji tekstów historycznych, wytworzonych w prosty i tani sposób za pomocą współczesnych lub tylko dostrojonych historycznie modeli. Prace nad rozwojem modeli historycznych mają otwierać nowe perspektywy dla badań społecznych, ale jednocześnie pokazują, jak łatwo dziś manipulować treściami historycznymi.... Czytaj dalej

Kto wynalazł telefon - Bell czy Meucci? Odpowiedzi dużych modeli językowych różnią się w zależności od języka zapytania, nawet jeśli pytanie dotyczy tego samego zagadnienia. Rozpoznanie “wewnątrzjęzykowej przewagi” danych postaci względem innych pozwoliło autorom omawianej pracy opisać LLM-y jako przestrzenie, w których ujawniać się mogą narodowe “miejsca pamięci” (w myśl koncepcji Pierre’a Nory).... Czytaj dalej

Aktywny sprzeciw wobec hype'u AI nie powinien prowadzić do dyskredytowania technicznych podstaw działania narzędzi sztucznej inteligencji, którym niektórzy nieostrożnie przypisują większe niż się powinno znaczenie. Dobrym przykładem jest tu reprezentacja wektorowa i modele językowe: zamiast zastanawiać się, czy zabiorą pracę, czy mogą myśleć albo czy mają świadomość, lepiej eksperymentować z wykorzystaniem ich do badań nad przemianami języka.... Czytaj dalej

Do czego Wikipedia mogłaby inspirować historyków, jak dostępność ChatGPT wpłynęła na aktywność edytorów i czytelników Wikipedii, wykorzystanie haseł Wikipedii do testowania jakości modeli językowych oraz techniki manipulacji hasłami na temat wywołanej przez Rosję wojny w Ukrainie - to tematy artykułów z kolejnej części przeglądu tekstów naukowych dotyczących Wikipedii.... Czytaj dalej

Spodziewamy się, że duże modele językowe będą użytecznym wsparciem w tworzeniu opisów zabytków, tłumaczeniu starożytnych tekstów czy rozwijaniu zasobów edukacyjnych. Podjęty niedawno test pięciu modeli open-source na 1066 niepowtarzalnych zadaniach ujawnia jednak poważne ograniczenia. Ponad 65 proc. wygenerowanych odpowiedzi zawiera istotne niezgodności kulturowe (cultural value misalignment).... Czytaj dalej