Naukowcy z Politechniki Gdańskiej i OPI opracowali modele języka polskiego zwane Qra. To pierwszy odpowiednik otwartych narzędzi Meta czy Mistral AI na tę skalę. Qra lepiej rozumie polskie treści i lepiej potrafi tworzyć spójne teksty – podaje Politechnika Gdańska.
Jak poinformowało biuro prasowe Politechniki Gdańskiej, uczelnia oraz Laboratorium AI Narodowego Instytutu Przetwarzania Informacji – Państwowego Instytutu Badawczego (OPI) opracowały generatywne modele języka neuronowego w języku polskim uczącego się wyłącznie na terabajcie danych tekstowych po polsku.
„Qra jest pierwszą w swoim rodzaju i najlepszą w modelowaniu polskojęzycznego odpowiednika otwartych narzędzi, takich jak Meta czy Mistral AI. Qra lepiej rozumie treści w języku polskim, lepiej rozumie zadawane pytania i tworzy spójne teksty” – czytamy w oświadczeniu.
Na Politechnice Gdańskiej w Centrum Kompetencyjnym IT STOS, jednym z najnowocześniejszych ośrodków informatycznych w tej części Europy, wyposażonym w superkomputer Kraken, stworzono środowisko obliczeniowe dedykowane do budowy modeli sztucznej inteligencji.
Jak wynika z oświadczenia, w procesie wykorzystano klaster 21 kart graficznych NVidia A100 80 GB. Zespoły pracowały przez około sześć miesięcy nad przygotowaniem środowiska, stworzeniem narzędzi i modeli, szkoleniami (w oparciu o treści z takich dziedzin jak prawo, technologia, nauki społeczne, biomedycyna, religia czy sport) oraz testowaniem. „Dzięki bogatej infrastrukturze dostępnej w STOS faktyczny proces szkolenia najbardziej skomplikowanych modeli został skrócony z lat do około miesiąca” – podaje uczelnia.
Współpraca Gdańsk Tech i OPI zaowocowała powstaniem trzech modeli o różnej złożoności tj. Qra 1B, Qra 7B, Qra 13B. Modele Qra 7B i Qra 13B osiągają znacznie lepszy wynik zakłopotania, czyli możliwości modelowania języka polskiego pod względem rozumienia, warstwy leksykalnej i gramatyki, niż oryginalne modele Llama-2-7b-hf (Meta) i Mistral-7B -v0.1 (Mistral-AI).
Badania pomiaru zakłopotania przeprowadzono np. na zbiorze pierwszych 10 000 zdań zbioru testowego PolEval-2018, a modele dodatkowo przetestowano na zbiorze 5000 dłuższych i bardziej wymagających dokumentów napisanych w 2024 r.
Szablony Qra będą podstawą rozwiązań IT pozwalających uporać się z zagadnieniami i procesami wymagającymi lepszego zrozumienia języka polskiego.
„Na tym etapie Qra jest podstawowym modelem językowym, który może generować poprawne gramatycznie i stylistycznie odpowiedzi w języku polskim. Tworzone treści są na bardzo wysokim poziomie, co może potwierdzić m.in. miara zakłopotania” – czytamy w oświadczeniu.
Zespół rozpocznie prace nad dostrojeniem modeli, aby sprawdzić ich zdolność do klasyfikowania tekstu, podsumowywania go i odpowiadania na pytania.
Nowe modele zostały opublikowane w dedykowanym repozytorium OPI-Gdańsk Tech na platformie huggingface. Każdy może pobrać szablon i dostosować go do swojego obszaru oraz problemów lub zadań, np. udzielania odpowiedzi. (PAPKA)
godz./ bar/ kap/
tr. RL
Fundacja PAP umożliwia nieodpłatne przedrukowanie artykułów z portalu Nauka w Polsce pod warunkiem otrzymania raz w miesiącu wiadomości e-mail o korzystaniu z portalu i wskazaniu pochodzenia artykułu. Na stronach internetowych i portalach internetowych należy podawać adres: Źródło: www.scienceinpoland.pl, natomiast w czasopismach – adnotację: Źródło: Nauka w Polsce – www.scienceinpoland.pl. W przypadku serwisów społecznościowych prosimy o podanie jedynie tytułu i leadu przesyłki naszej agencji wraz z linkiem prowadzącym do tekstu artykułu na naszej stronie, a także na naszym profilu na Facebooku.
„Piwny maniak. Odkrywca. Nieuleczalny rozwiązywacz problemów. Podróżujący ninja. Pionier zombie. Amatorski twórca. Oddany orędownik mediów społecznościowych.”