Benchmark PUMA: Malczewski, Wiedźmin i pomidorowa w testach modeli multimodalnych
W benchmarku sprawdzono modele pracujące z tekstem, dźwiękiem i obrazem na 900 dość złożonych zadaniach odnoszących się do polskiej historii, kultury i życia codziennego. Czołowe modele uzyskały w tym teście w miarę dobre wyniki, polskie mogły być testowane tylko w niektórych kategoriach, a i tak poradziły sobie słabo. Okazuje się, że samo dostrojenie modelu do polskiego kontekstu kulturowego nie wystarcza. Może zamiast pracować nad modelami ogólnego przeznaczenia, lepiej rozwijać te specjalistyczne, dostosowane do niszowych zadań w polskiej administracji, nauce czy sektorze dziedzictwa?... Czytaj dalej
