HIVE AI to konsorcjum polskich ośrodków naukowych oraz instytucji skupionych wokół usług cyfrowych, na czele którego stoi NASK PIB. Konsorcjum opracowuje nowe polskojęzyczne modele językowe PLLuM i wdraża je w jednostkach administracji publicznej. Już wkrótce do grona użytkowników modeli PLLuM dojdą duże polskie miasta.
Pierwszym publicznie dostępnym efektem prac konsorcjum jest model językowy PLLuM-12B-nc-250715. Stanowi on istotne wzmocnienie rodziny polskojęzycznych modeli PLLuM. Model został zaktualizowany i zoptymalizowany do całej gamy zastosowań, w tym do zadań administracji publicznej. Co ważne, do sprawnej pracy nie potrzebuje dużych zasobów obliczeniowych.
Więcej niż kosmetyka
Model PLLuM-12B-nc, opublikowany w lutym 2025 roku, sprawdza się w wielu zastosowaniach, ale ze względu na nie w pełni optymalny zestaw danych uczących, jego możliwości pozostały częściowo niewykorzystane. Nowa wersja PLLuM-12B-nc-250715 została wytrenowana na znacznie lepiej przygotowanym zbiorze danych i dostrojona do nowych zadań, w tym zadań urzędowych. Potrafi m.in. tworzyć oficjalne e-maile czy wnioski i lepiej formatuje odpowiedzi.
– Nowa wersja modelu została przygotowana nie tylko na zbiorze danych o optymalnej jakości, ale też powiększonym o partię nowych tekstów m.in. z domeny gov.pl, w tym Biuletynu Informacji Publicznej, oraz z Biblioteki Nauki. Co warte podkreślenia, dane gromadzone są w sposób w pełni zgodny z prawem polskim i europejskim – wyjaśnia dr Agnieszka Karlińska z NASK PIB, kierowniczka projektu HIVE AI.
Model PLLuM-12B-nc-250715 powstał w trzech wariantach, które różnią się stopniem przygotowania do konkretnych zadań:
base – to podstawowa wersja, która przeszła pełną adaptację językową na ogromnym polskojęzycznym zbiorze danych liczącym ok. 140 miliardów słów. To fundament, na którym zbudowano kolejne odsłony modelu;
instruct – wariant instrukcyjny, dostrojony do realizacji szeregu zadań w języku polskim. Oznacza to, że został nauczony odpowiadać na pytania i realizować polecenia na podstawie par promptów i przykładowych odpowiedzi, co ułatwia mu lepsze rozumienie intencji użytkownika;
chat – to najbardziej zaawansowana wersja, która przeszła dodatkowe “wychowanie”. Oprócz adaptacji językowej i dostrajania na instrukcjach, została zabezpieczona i dostosowana do oczekiwań użytkowników. Oparto ją na zbiorach promptów oraz odpowiedzi ocenianych przez ludzi jako lepsze lub gorsze, co pomaga jej reagować bardziej precyzyjnie i bezpiecznie podczas rozmów.
Lepiej rozumieć polskie niuanse
– Wyróżnikiem modeli PLLuM były zawsze autorskie zbiory danych do dostrajania modeli, czyli ich dostosowywania do określonych zadań. Pełna adaptacja językowa modeli jest możliwa tylko dzięki zbiorom mozolnie tworzonym od podstaw – podkreśla dr hab. Piotr Pęzik, prof. Uniwersytetu Łódzkiego, kierownik operacyjny projektu HIVE AI. – Od początku staliśmy na stanowisku, że masowe kopiowanie gotowych modeli AI, tzw. silnych LLM-ów wiąże się z szeregiem zagrożeń. Dlatego wypracowujemy metodologię kontrolowanego generowania danych syntetycznych, czyli takich, które powstają z udziałem innych modeli, ale są sprawdzane i zatwierdzane przez ludzi. Jej pierwsze efekty zostały wykorzystane w dostrajaniu nowych modeli 12B – dodaje dr hab. Piotr Pęzik.
Dzięki temu model lepiej rozumie polski kontekst kulturowy i odpowiada precyzyjniej, generując mniej zbędnych czy przypadkowych słów. Dodatkowo w porównaniu do poprzedniej wersji został jeszcze lepiej zabezpieczony. Testy podatności pokazały, że skuteczność ataków promptowych udało się zmniejszyć do 2-3 przypadków na 100 prób. To znacznie mniej niż w przypadku innych otwartych modeli.
– Żaden model nie będzie w 100 proc. zabezpieczony – zauważa dr Karlińska. – Każdy można prędzej czy później skłonić do generowania treści toksycznych, obraźliwych czy nielegalnych. Staramy się, żeby w przypadku modeli z rodziny PLLuM było to maksymalnie utrudnione. Nasze testy podatności pokazują, że ryzyko zwracania niepożądanych treści przez wychowaną wersję PLLuM-12B-nc-250715 udało się istotnie ograniczyć.
A to dopiero początek
Wszystkie wersje PLLuM-12B-nc-250715 są dostępne na HuggingFace, po wypełnieniu formularza. Wersję konwersacyjną można już teraz testować w aplikacji PLLuM chat. Przy testach warto pamiętać, że modele PLLuM nie są na razie zintegrowane z wyszukiwarką internetową i nie powinno się z nich korzystać do poszukiwania informacji na tematy bieżące.
Ale PLLuM-12B-nc-250715 to dopiero początek planowanych premier. W najbliższych tygodniach konsorcjum zapowiada publikację kolejnych rezultatów projektu. Czego można się spodziewać?
– Nowe architektury i rozmiary modeli, zaktualizowany zbiór danych do wstępnego etapu uczenia modeli, czyli pretreningu, nowe dane do dostrajania, a w efekcie – nowe kompetencje i zastosowania, w domenie urzędowej i nie tylko – zapowiada dr Karlińska. – Już wkrótce zaprezentujemy drugi produkt z rodziny PLLuM: prototyp jednoturowego asystenta (czatbota) obywatelskiego, zaprojektowany jeszcze w ubiegłym roku, który posłuży nam do zbierania promptów pod kątem wdrożenia modeli PLLuM w aplikacji mObywatel. Do tego coś wyjątkowo cennego dla badaczy i twórczyń modeli: podzbiory instrukcji i preferencji wraz ze szczegółowym opisem metodologii ich tworzenia.
– Nie chcemy, żeby nasze deklaracje otwartości sprowadzały się jedynie do fasadowych zapewnień – podkreśla prof. Pęzik. – Dlatego docelowo zamierzamy uwolnić jak najwięcej danych do tworzenia modeli instrukcyjnych i wychowanych. Ułatwi to niezależnym zespołom, niekoniecznie dysponującym budżetem na tworzenie własnych zbiorów, włączenie się w rozwój polskiego ekosystemu AI. Pomożemy w ten sposób przezwyciężyć problem tzw. zimnego rozruchu w trenowaniu modeli.
Wzmocnienie polskiej suwerenności cyfrowej nie wydarzy się bez rodzimych technologii opartych na sztucznej inteligencji. PLLuM-12B-nc-250715 i cały projekt HIVE AI to dowód, że Polska potrafi rozwijać własne modele językowe odpowiadające na nasze specyficzne potrzeby kulturowe, społeczne i administracyjne. To inwestycja w przyszłość, która pozwoli nie tylko budować bezpieczniejszą i sprawniejszą administrację, ale także wspierać rozwój nauki i innowacji w Polsce. Bo tylko własna AI daje prawdziwą niezależność.
Kolejne premiery konsorcjum HIVE AI zostaną ogłoszone w najbliższych tygodniach.
