Gdańsk Tech i OPI opracowały polskie modele generatywne zwane Qra, które trenowano na korpusie danych zawierającym wyłącznie polskie teksty. Początkowo korpus wykorzystywał łącznie prawie 2 TB nieprzetworzonych danych tekstowych, ale został prawie dwukrotnie powiększony w wyniku procesów czyszczenia i deduplikacji, aby zachować najlepszą jakość i unikalną zawartość. Jest to pierwszy model generatywny trenowany z dużą mocą obliczeniową na tak dużym zasobie tekstów polskich. Dla porównania modele Llama, Mistral i GPT są w dużej mierze trenowane na danych w języku angielskim, a tylko ułamek procenta korpusu uczącego składa się z danych w języku polskim.
Najbardziej złożona wersja modelu przeszkolona w STOS w miesiąc
W 2011 roku na Politechnice Gdańskiej powstało środowisko komputerowe do tworzenia modeli sztucznej inteligencji Centrum Kompetencyjne STOS IT, jedno z najnowocześniejszych centrów IT w tej części Europy z superkomputerem Kraken. Zastosowano klaster 21 kart graficznych NVidia A100 80 GB. Zespoły pracowały około sześciu miesięcy nad przygotowaniem środowiska, stworzeniem narzędzi i modeli, ich przeszkoleniem (w oparciu o treści z takich dziedzin, jak m.in. prawo, technologia, nauki społeczne, biomedycyna, religia czy sport) oraz przeprowadzeniem testów. Dzięki rozbudowanej infrastrukturze STOS faktyczny proces szkolenia najbardziej skomplikowanych modeli został skrócony z lat do około miesiąca.
Qra lepiej włada językiem polskim
W wyniku współpracy Gdańsk Tech i OPI zespoły badawcze stworzyły trzy modele o różnym stopniu złożoności: Qra 1B, Qra 7B i Qra 13B. Modele Qra 7B i Qra 13B osiągają znacznie lepszy wynik zakłopotania, czyli możliwości modelowania języka polskiego pod względem rozumienia, poziomu leksykalnego czy samej gramatyki, niż oryginalne modele Llama-2-7b-hf (Meta) i Mistral- 7B-v0.1 (Mistral AI).
Testy mierzące zakłopotanie przeprowadzono m.in. na planie pierwszych 10 000 zdań ze zbioru testowego PolEval 2018 oraz dodatkowo na zestawie 5000 dłuższych i bardziej wymagających dokumentów z 2024 roku.
Rozwiązania wymagające lepszego zrozumienia języka
Modele Qra będą podstawą rozwiązań informatycznych adresujących problemy i procesy wymagające lepszego zrozumienia języka polskiego.
Na tym etapie Qra jest podstawowym modelem językowym, który potrafi generować poprawne gramatycznie i stylistycznie odpowiedzi w języku polskim. Tworzone treści są na bardzo wysokim poziomie, co może potwierdzić między innymi miara zakłopotania. Zespół rozpoczyna obecnie optymalizację modeli, aby sprawdzić ich zdolność do klasyfikacji, podsumowywania tekstu i odpowiadania na pytania.
Opracowane modele zostały opublikowane w specjalnym repozytorium OPI-Gdańsk Tech Platforma Huggingface. Każdy może pobrać model i dostosować go do swojej dziedziny wiedzy oraz problemów lub zadań, na przykład w celu udzielenia odpowiedzi.
Witold Gombrowicz jest autorem publikującym na portalu humanmag.pl, gdzie porusza tematy związane z aktualnościami, polityką, biznesem, technologią, sportem, rozrywką i stylem życia. Skupia się na przejrzystym przedstawianiu faktów, dostarczaniu użytecznych informacji oraz opisywaniu wydarzeń i historii istotnych dla czytelników w rzetelny i przystępny sposób.