PLLuM w nowej odsłonie. Rodzina polskojęzycznych modeli językowych się powiększa

HIVE AI to konsorcjum polskich ośrodków naukowych oraz instytucji skupionych wokół usług cyfrowych, na czele którego stoi NASK PIB. Konsorcjum opracowuje nowe polskojęzyczne modele językowe PLLuM i wdraża je w jednostkach administracji publicznej. Już wkrótce do grona użytkowników modeli PLLuM dojdą duże polskie miasta.

Pierwszym publicznie dostępnym efektem prac konsorcjum jest model językowy PLLuM-12B-nc-250715. Stanowi on istotne wzmocnienie rodziny polskojęzycznych modeli PLLuM. Model został zaktualizowany i zoptymalizowany do całej gamy zastosowań, w tym do zadań administracji publicznej. Co ważne, do sprawnej pracy nie potrzebuje dużych zasobów obliczeniowych.

Więcej niż kosmetyka

Model PLLuM-12B-nc, opublikowany w lutym 2025 roku, sprawdza się w wielu zastosowaniach, ale ze względu na nie w pełni optymalny zestaw danych uczących, jego możliwości pozostały częściowo niewykorzystane. Nowa wersja PLLuM-12B-nc-250715 została wytrenowana na znacznie lepiej przygotowanym zbiorze danych i dostrojona do nowych zadań, w tym zadań urzędowych. Potrafi m.in. tworzyć oficjalne e-maile czy wnioski i lepiej formatuje odpowiedzi.

– Nowa wersja modelu została przygotowana nie tylko na zbiorze danych o optymalnej jakości, ale też powiększonym o partię nowych tekstów m.in. z domeny gov.pl, w tym Biuletynu Informacji Publicznej, oraz z Biblioteki Nauki. Co warte podkreślenia, dane gromadzone są w sposób w pełni zgodny z prawem polskim i europejskim – wyjaśnia dr Agnieszka Karlińska z NASK PIB, kierowniczka projektu HIVE AI.

Model PLLuM-12B-nc-250715 powstał w trzech wariantach, które różnią się stopniem przygotowania do konkretnych zadań:

base – to podstawowa wersja, która przeszła pełną adaptację językową na ogromnym polskojęzycznym zbiorze danych liczącym ok. 140 miliardów słów. To fundament, na którym zbudowano kolejne odsłony modelu;

instruct – wariant instrukcyjny, dostrojony do realizacji szeregu zadań w języku polskim. Oznacza to, że został nauczony odpowiadać na pytania i realizować polecenia na podstawie par promptów i przykładowych odpowiedzi, co ułatwia mu lepsze rozumienie intencji użytkownika;

chat – to najbardziej zaawansowana wersja, która przeszła dodatkowe “wychowanie”. Oprócz adaptacji językowej i dostrajania na instrukcjach, została zabezpieczona i dostosowana do oczekiwań użytkowników. Oparto ją na zbiorach promptów oraz odpowiedzi ocenianych przez ludzi jako lepsze lub gorsze, co pomaga jej reagować bardziej precyzyjnie i bezpiecznie podczas rozmów.

Lepiej rozumieć polskie niuanse

– Wyróżnikiem modeli PLLuM były zawsze autorskie zbiory danych do dostrajania modeli, czyli ich dostosowywania do określonych zadań. Pełna adaptacja językowa modeli jest możliwa tylko dzięki zbiorom mozolnie tworzonym od podstaw – podkreśla dr hab. Piotr Pęzik, prof. Uniwersytetu Łódzkiego, kierownik operacyjny projektu HIVE AI. – Od początku staliśmy na stanowisku, że masowe kopiowanie gotowych modeli AI, tzw. silnych LLM-ów wiąże się z szeregiem zagrożeń. Dlatego wypracowujemy metodologię kontrolowanego generowania danych syntetycznych, czyli takich, które powstają z udziałem innych modeli, ale są sprawdzane i zatwierdzane przez ludzi. Jej pierwsze efekty zostały wykorzystane w dostrajaniu nowych modeli 12B – dodaje dr hab. Piotr Pęzik.

Dzięki temu model lepiej rozumie polski kontekst kulturowy i odpowiada precyzyjniej, generując mniej zbędnych czy przypadkowych słów. Dodatkowo w porównaniu do poprzedniej wersji został jeszcze lepiej zabezpieczony. Testy podatności pokazały, że skuteczność ataków promptowych udało się zmniejszyć do 2-3 przypadków na 100 prób. To znacznie mniej niż w przypadku innych otwartych modeli.

– Żaden model nie będzie w 100 proc. zabezpieczony – zauważa dr Karlińska. – Każdy można prędzej czy później skłonić do generowania treści toksycznych, obraźliwych czy nielegalnych. Staramy się, żeby w przypadku modeli z rodziny PLLuM było to maksymalnie utrudnione. Nasze testy podatności pokazują, że ryzyko zwracania niepożądanych treści przez wychowaną wersję PLLuM-12B-nc-250715 udało się istotnie ograniczyć.

A to dopiero początek

Wszystkie wersje PLLuM-12B-nc-250715 są dostępne na HuggingFace, po wypełnieniu formularza. Wersję konwersacyjną można już teraz testować w aplikacji PLLuM chat. Przy testach warto pamiętać, że modele PLLuM nie są na razie zintegrowane z wyszukiwarką internetową i nie powinno się z nich korzystać do poszukiwania informacji na tematy bieżące.

Ale PLLuM-12B-nc-250715 to dopiero początek planowanych premier. W najbliższych tygodniach konsorcjum zapowiada publikację kolejnych rezultatów projektu. Czego można się spodziewać?

– Nowe architektury i rozmiary modeli, zaktualizowany zbiór danych do wstępnego etapu uczenia modeli, czyli pretreningu, nowe dane do dostrajania, a w efekcie – nowe kompetencje i zastosowania, w domenie urzędowej i nie tylko – zapowiada dr Karlińska. – Już wkrótce zaprezentujemy drugi produkt z rodziny PLLuM: prototyp jednoturowego asystenta (czatbota) obywatelskiego, zaprojektowany jeszcze w ubiegłym roku, który posłuży nam do zbierania promptów pod kątem wdrożenia modeli PLLuM w aplikacji mObywatel. Do tego coś wyjątkowo cennego dla badaczy i twórczyń modeli: podzbiory instrukcji i preferencji wraz ze szczegółowym opisem metodologii ich tworzenia.

– Nie chcemy, żeby nasze deklaracje otwartości sprowadzały się jedynie do fasadowych zapewnień – podkreśla prof. Pęzik. – Dlatego docelowo zamierzamy uwolnić jak najwięcej danych do tworzenia modeli instrukcyjnych i wychowanych. Ułatwi to niezależnym zespołom, niekoniecznie dysponującym budżetem na tworzenie własnych zbiorów, włączenie się w rozwój polskiego ekosystemu AI. Pomożemy w ten sposób przezwyciężyć problem tzw. zimnego rozruchu w trenowaniu modeli.

Wzmocnienie polskiej suwerenności cyfrowej nie wydarzy się bez rodzimych technologii opartych na sztucznej inteligencji. PLLuM-12B-nc-250715 i cały projekt HIVE AI to dowód, że Polska potrafi rozwijać własne modele językowe odpowiadające na nasze specyficzne potrzeby kulturowe, społeczne i administracyjne. To inwestycja w przyszłość, która pozwoli nie tylko budować bezpieczniejszą i sprawniejszą administrację, ale także wspierać rozwój nauki i innowacji w Polsce. Bo tylko własna AI daje prawdziwą niezależność.

Kolejne premiery konsorcjum HIVE AI zostaną ogłoszone w najbliższych tygodniach.