Projekt zakłada stworzenie asystenta głosowego, rozpoznającego naturalną mowę użytkownika i wykonującego powierzone zadania, który będzie wsparciem dla lekarzy i personelu medycznego w codziennej pracy. Dzięki takiemu rozwiązaniu lekarz będzie mógł wydawać polecenia głosowe. Komendy wydawane przez medyków będą ułatwiały m.in. wystawienie e-skierowań, e-recept czy zwolnień lekarskich. Nadrzędnym celem projektu jest optymalizacja czasu pracy lekarzy oraz zmniejszenie pracy dokumentacyjnej medyków związanej z obsługą pacjentów. Takie rozwiązanie przełoży się na zwiększenie uwagi specjalisty w trakcie wizyty wyłącznie na pacjencie oraz skrócenie czasu trwania samej wizyty i konsultacji.
Jak będzie przebiegał projekt?
Projekt asystenta głosowego dla lekarzy, realizowany przez Proassist i zespół naukowców z AGH, zakłada w pierwszym etapie gromadzenie materiału głosowego. W tym celu lekarze będą nagrywali swój głos podczas wizyt i konsultacji z pacjentami. Zebrane dane posłużą do zbudowania bazy danych i doskonalenia asystenta głosowego. Realne dane z wizyt lekarskich są kluczowym elementem projektu, umożliwiającym dostosowanie asystenta głosowego do konkretnych potrzeb i preferencji lekarzy. Wiedza i doświadczenie zgromadzone przez lata pracy zawodowej medyków będą stanowić cenny wkład w rozwój rozwiązania.
Za realizację projektu ze strony AGH odpowiada prof. Konrad Kowalczyk z Instytutu Elektroniki (Wydział Informatyki, Elektroniki i Telekomunikacji) pełniący w projekcie funkcję kierownika B+R, który wyjaśnia:
– Naszym celem jest ułatwienie i usprawnienie pracy lekarza poprzez konwersję wypowiedzi lekarza na tekst, a następnie automatyczne wyodrębnienie pożądanych informacji i odpowiednie uzupełnienie formularzy elektronicznej dokumentacji medycznej. Pracujemy nad opracowaniem asystenta głosowego dostosowanego do zastosowań medycznych, który będzie składał się z modułów sztucznej inteligencji odpowiedzialnych za automatyczne rozpoznawanie mowy i przetwarzanie języka naturalnego.
Zespół prof. Konrada Kowalczyka składa się z około 10 osób: adiunktów, asystentów, doktorantów i studentów związanych z Zespołem Przetwarzania Sygnałów Wydziału Informatyki, Elektroniki i Telekomunikacji, który od wielu lat specjalizuje się w przetwarzaniu i analizie mowy. W początkowej fazie projektu, zespół będzie odpowiadał m.in. za przygotowanie systemu umożliwiającego zamianę mowy na tekst wraz z analizą semantyczną wypowiedzi, a w dalszych etapach projektu za stworzenie generycznego systemu głosowego zawierającego moduły automatycznego rozpoznawania mowy i przetwarzania języka naturalnego obsługujące zdefiniowane scenariusze użycia. Liderami prowadzonych prac badawczo-rozwojowych będą doświadczeni adiunkci Wydziału Informatyki, Elektroniki i Telekomunikacji AGH: dr inż. Stanisław Kacprzak i dr inż. Marcin Witkowski.
Jacek Piaseczyński, CEO i kierownik projektu po stronie Proassist podkreśla: – Zależy nam na tym, aby lekarz porozumiewał się ze swoim komputerem w gabinecie lub telefonem w taki sposób jakby rozmawiał ze swoją asystentką medyczną. Przed nami ambitne zadanie – chcemy zrewolucjonizować polską służbę zdrowia i rozpowszechnić nowe technologie w medycynie, tak aby korzystał z nich każdy lekarz w swoim gabinecie. Eksperckie wsparcie ze strony AGH, w szczególności z obszarów przetwarzania sygnałów mowy i dźwięku czy uczenia maszynowego z pewnością czyni nasz zespół realizujący projekt jeszcze lepiej przygotowanym do tego zadania.
Zaprojektowany asystent głosowy dla lekarzy będzie wyposażony w zaawansowane funkcje umożliwiające lekarzom wydawanie poleceń, w tym wystawianie recept czy tworzenie planów leczenia. Dzięki temu lekarze będą mogli zoptymalizować czas poświęcony jednemu pacjentowi i koncentrować się w jeszcze większym zakresie na bezpośrednim kontakcie z pacjentem, podnosząc tym samym jakość opieki medycznej.
Kolejne etapy projektu
W projekt będą zaangażowani konsultanci medyczni oraz placówki medyczne, które będą nagrywać rozmowy z pacjentami. Następnie rozmowy przejdą proces m.in. anonimizacji tj. będą przekształcone w sposób uniemożliwiający przyporządkowanie poszczególnych informacji do określonej lub możliwej do zidentyfikowania osoby fizycznej i tym samym pozbawione wrażliwych danych. W kolejnym etapie nagrania poddane będą transkrypcji i anotacji, umożliwiających użycie tak przygotowanej bazy do treningu modułów zamieniających mowę na tekst oraz analizę semantyczną wypowiedzi. Tak powstały zbiór pozwoli stworzyć narzędzie, którego zadaniem będzie przetwarzanie mowy lekarza na tekst.
Krakowska firma technologiczna Proassist w partnerstwie z naukowcami z AGH na realizację zadania ma trzy lata. Łączna wartość projektu to 11 mln zł.
Sztuczna inteligencja wspiera klientów i pracowników PKO Banku Polskiego
