Awatar przewodnikiem osób niesłyszących po świecie literatury. Rusza projekt „Dostępna książka”

Prace badawczo-rozwojowe usprawnią cyfrowego awatara, który pełni rolę tłumacza polskiego języka migowego. Projekt jest przeznaczony dla osób Głuchych, w szczególności dla dzieci i młodzieży. Wspiera go Fundacja Integracja, która od ponad 30 lat działa na rzecz osób z niepełnosprawnościami. W tym celu w siedzibie Centrum Łukasiewicz został podpisany list intencyjny o współpracy.

„Dostępna książka” to projekt, który na polecenie Prezesa Centrum Łukasiewicz realizuje Sieć Badawcza Łukasiewicz – Instytut Technik Innowacyjnych EMAG w Katowicach. Powstanie seria multimedialnych materiałów edukacyjno-kulturalnych, opracowanych w formie filmów, które zawierać będą zsynchronizowaną ścieżkę dźwiękową (lektorską), wyświetlany tekst książki (napisy) oraz tłumaczenie na polski język migowy. Co ważne, tłumaczenie na PJM odbędzie się zarówno przez osoby migające (w tym osoby Głuche), jak i przez cyfrowego awatara. Przygotowany zestaw nagrań będzie podstawą prac badawczo-rozwojowych, których celem końcowym jest opracowanie automatycznego systemu translacji tekstu na PJM z wykorzystaniem metod sztucznej inteligencji.

Łukasiewicz rozwija sztuczną inteligencję

Jest to kolejny projekt badawczy Łukasiewicz – EMAG skupiony na rozwijaniu sztucznej inteligencji i jej wdrożeniu na rzecz osób z niepełnosprawnościami.
– Jednocześnie przygotowujemy otwarte dane dla naukowców i firm zajmujących się zastosowaniem uczenia maszynowego do tłumaczenia PJM. Otwiera to możliwość rozwoju nie tylko instytutów Łukasiewicza, ale i całej społeczności pracującej nad programami dla osób Głuchych – wyjaśnia prof. dr hab. Jan Kozak, dyrektor Łukasiewicz – EMAG, kierownik projektu.

Książka w PJM dla osób Głuchych?

Zadanie odpowiada na potrzeby osób z niepełnosprawnością słuchu, dla których dostęp do literatury – zarówno popularnonaukowej, edukacyjnej, jak i beletrystycznej – jest wciąż mocno ograniczony. Pierwszym i naturalnym językiem dla osób niesłyszących od urodzenia jest język migowy, a język polski jest ich drugim językiem. Stąd wiele trudności w rozumieniu słowa pisanego i w chęci sięgania po książki. Klasyczne formy audiobooków, choć ułatwiają dostęp osobom z niepełnosprawnością wzroku, nie stanowią rozwiązania dla społeczności Głuchych. Większość dzieł literackich w ramach projektu „Dostępna książka” to lektury szkolne, ponieważ inicjatywa w głównej mierze jest skierowana do dzieci i młodzieży.

Awatar PJM jak tłumacz języka migowego

W ramach projektu przygotowanych zostanie kilkadziesiąt książek polskich i zagranicznych autorów w formacie filmowym. Przekaz będzie realizowany przez osoby migające oraz – w przypadku wybranych pozycji – przez cyfrowego awatara komunikującego się w PJM, zbudowanego na podstawie technologii zbliżonej do motion capture. Ruchy awatara zostaną zarejestrowane z udziałem osób migających w specjalistycznym kombinezonie, a następnie odwzorowane w środowisku cyfrowym. Technika ta (stosowana w filmach i grach komputerowych) polega na zapisywaniu i odwzorowywaniu trójwymiarowych ruchów aktorów, dzięki czemu awatar będzie poruszał się bardzo realistycznie. Łukasiewicz – EMAG dysponuje własnym kombinezonem oraz studiem nagrań.

Współpraca z Fundacją Integracja

Łukasiewicz – EMAG i Centrum Łukasiewicz podpisały list intencyjny o współpracy w tym zakresie z Fundacją Integracja.

– To modelowy przykład społecznej odpowiedzialności nauki. Zależy nam na tym, aby wykorzystać część kompetencji naszych inżynierów, w tym wypadku inżynierów zajmujących się IT i rozwojem oprogramowania, na rzecz realizacji ważnych celów społecznych – powiedział podczas uroczystości podpisania dokumentu dr Hubert Cichocki, Prezes Centrum Łukasiewicz. Podkreślił, że istotne jest, aby innowacyjne rozwiązania tworzone w instytutach Łukasiewicza znajdowały zastosowanie w różnych dziedzinach gospodarki i w codziennym życiu.

– To pierwszy nasze wspólne działanie. Bardzo ważne jest, że współpracę rozpoczynamy od realizacji projektu przeznaczonego dla dzieci i młodzieży – zaznaczyła prezes Fundacji Integracja Ewa Pawłowska.

List intencyjny został podpisany w czwartek, 22 maja, przez dr. Huberta Cichockiego, Prezesa Centrum Łukasiewicz, Ewę Pawłowską, Prezes Zarządu Fundacji Integracja, i Annę Szygendę, Członka Zarządu Fundacji, oraz obecnego zdalnie na spotkaniu Dyrektora Łukasiewicz – EMAG prof. Jana Kozaka.

Fundacja Integracja to organizacja pożytku publicznego, która zajmuje się działaniami na rzecz osób z niepełnosprawnością. Posiada szerokie kompetencje w projektach integrujących środowiska osób wykluczonych ze względu na niedosłuch.

Społeczna odpowiedzialność nauki w Łukasiewiczu

Projekt „Dostępna książka – adaptacja książek z tłumaczeniem migowym PJM dla społeczeństwa i uczenia maszyn” jest wkładem w rozwój technologii cyfrowych wspierających inkluzywność. Może mieć zastosowanie w branży wydawniczej, mediach czy administracji publicznej. Zadanie ma charakter badawczo-rozwojowy oraz społeczny i jest realizowane w ramach działalności niekomercyjnej. W ten sposób Sieć Badawcza Łukasiewicz wypełnia założenia społecznej odpowiedzialności nauki, której ideą jest popularyzowanie nauki oraz (zgodnie z ustawą o Sieci Badawczej Łukasiewicz) kształtowanie w społeczeństwie świadomości na temat zaawansowanych technologii i ich praktycznego wykorzystania.