AI Act zatwierdzone. Oto 5 kluczowych wniosków dla sektora biomedycznego

Znany jest już finalny, zaakceptowany przez państwa członkowskie draft AI Act – unijnej ustawy o Sztucznej Inteligencji. Jaki wpływ wywrze ona na działalność firm z sektora biomedycznego? Prezentujemy pięć najważniejszych wniosków.

– Mając w pamięci brak regulacji prawnych w obszarze social media, gdy zaczynały one szturmem podbijać europejski rynek, Unia Europejska nie chce drugi raz popełnić tego samego błędu. Obserwując dynamiczny wzrost znaczenia AI w gospodarce, od ponad dwóch lat trwały prace nad przygotowaniem pierwszych, ramowych regulacji w tym zakresie. Luty przyniósł kolejne ważne rozstrzygnięcia: najpierw wszystkie państwa członkowskie jednogłośnie przyjęły AI Act, następnie został on zatwierdzony przez dwie komisje Parlamentu Europejskiego: Komisję Rynku Wewnętrznego i Ochrony Konsumentów oraz Komisję Wolności Obywatelskich, Sprawiedliwości i Spraw Wewnętrznych – mówi Paweł Sieczkowski, prezes zarządu Frontline Biosciences.

Na wstępie należy podkreślić, że utrzymane zostało najważniejsze założenie AI Act, tzn. klasyfikacja systemów wykorzystujących sztuczną inteligencję na podstawie poziomu generowanego ryzyka:

nieakceptowalne ryzyko – np. systemy scoringu społecznego, manipulacyjna sztuczna inteligencja, automatyczna identyfikacja biometryczna;
wysokie ryzyko – np. systemy związane z ochroną zdrowia, ale także bezpieczeństwem, aspektami prawnymi czy ochroną środowiska naturalnego;
ograniczone ryzyko – np. chatboty i deepfakes;
minimalne lub zerowe ryzyko – np. gry wideo wykorzystujące sztuczną inteligencję , filtry spamu.

Większość obowiązków wynikających z AI Act spoczywa na dostawcach (programistach) systemów AI wysokiego ryzyka.

Systemy wykorzystujące AI związane z ochroną zdrowia generują wysokie ryzyko

Oznacza to, że praktycznie wszystkie produkty oraz procesy, wykorzystujące sztuczną inteligencję, komercjalizowane przez spółki biomedyczne, zaliczone zostaną do kategorii generującej wysokie ryzyko. Należy mieć tego świadomość i już teraz przygotować się na konieczność spełnienia dodatkowych wymagań wynikających z AI Act. Wyjątek stanowią tutaj systemy wykorzystywane wyłącznie na potrzeby badań naukowych i prac B+R. Zostały one wyłączone z zakresu ustawy o sztucznej inteligencji.

Odpowiedzialność spoczywa przede wszystkim na dostawcach systemów

Firmy z branży biomedycznej będą musiały spełnić wymogi AI Act przede wszystkim gdy występują w roli „dostawców” (producentów lub programistów) systemów sztucznej inteligencji. To dostawcy będą odpowiedzialni za tworzony system i jego zgodność z regulacjami, zarówno w zakresie AI Act, jak i pozostałymi jak np. MRD czy IVDR. Warto mieć ten aspekt na uwadze już w trakcie realizacji prac B+R nad rozwiązaniem zawierającym komponent sztucznej inteligencji.

Z kolei zasady dla „wdrażających” systemy wykorzystujące sztuczną inteligencję są mniej restrykcyjne i ograniczają się (w uogólnieniu) do zagwarantowania, że systemy AI będą stosowane zgodnie z ich przeznaczeniem.

Systemy wysokiego ryzyka podczas użytkowania muszą podlegać nadzorowi człowieka

Na twórcach i dostawcach systemów AI wysokiego ryzyka spoczywa obowiązek takiego zaprojektowania produktu, by umożliwić wdrażającym wprowadzenie nadzoru człowieka. Nadzór człowieka ma zapobiegać ryzyku dla zdrowia i bezpieczeństwa lub minimalizować je poprzez interwencję osób fizycznych podczas korzystania z systemu wykorzystującego sztuczną inteligencję. Oznacza to, że ogólnie rzecz biorąc, systemy AI należy udostępniać użytkownikom w taki sposób, aby osoby fizyczne były w stanie zrozumieć ograniczenia urządzenia i prawidłowo zinterpretować jego dane wyjściowe.

Dostawcy systemów AI generujących wysokie ryzyko zmierzą się z dodatkowymi wymogami

Największą część AI Act poświęcono na opisanie zagadnień związanych z systemami wysokiego ryzyka. W artykułach od 8 do 29 ustawy scharakteryzowane zostały wymogi dotyczące dostarczania, wdrażania i stosowania tego typu systemów. Odnoszą się one m. in. do:

wprowadzenia i stosowania systemu zarządzania ryzykiem w całym cyklu życia produktu wykorzystującego AI;
zarządzania danymi w taki sposób aby zapewnić, że zbiory danych szkoleniowych, walidacyjnych i testowych są odpowiednie, wystarczająco reprezentatywne oraz, w miarę możliwości, wolne od błędów i kompletne zgodnie z zamierzonym celem;
sporządzenia dokumentacji technicznej w celu wykazania zgodności (compliance) i umożliwienia oceny tej zgodności, co jest szczególnie istotne dla firm z sektora biomedycznego;
przygotowania szczegółowych instrukcji obsługi dla podmiotów wdrażających produkty wykorzystujące AI;
kwestii cyberbezpieczeństwa;
wprowadzenia systemu zarządzania jakością.

Należy mieć świadomość, że chociaż procesy niezbędne do spełnienia wymagań wynikających z AI Act można zintegrować z równoważnymi procesami wymaganymi na mocy rozporządzeń MDR/IVDR, treść samych wymagań jest inna i obliguje do posiadania odrębnego zestawu wiedzy i know-how.

Uwaga na wprowadzanie sprzecznych definicji

Na obecnym etapie prac nad AI Act nadal istnieje ryzyko wprowadzenia sprzecznych definicji i powielających się wymagań, w kontekście już obowiązujących ustaw dla sektora biomedycznego.

Celem jest taki stan, aby AI Act był spójny z pozostałymi, obowiązującymi regulacjami, takimi jak np. MDR i IVDR. Zgodnie z aktualnym tekstem prawnym stosowanie rozporządzeń powinno mieć charakter równoczesny i komplementarny, a ustawa o sztucznej inteligencji może w pewnych obszarach rozszerzyć zakres wymagań obowiązujących na mocy MDR i IVDR. Warto podkreślić, że twórcy AI Act opowiadają się za pojedynczą oceną zgodności i jedną zintegrowaną dokumentacją techniczną, co ma kluczowe znaczenie dla ułatwienia prac nad innowacjami w zakresie AI w sektorze biomedycznym.

Jednakże nadal można znaleźć w dokumentacji pewne niedoskonałości. Na przykład terminy w AI Act dotyczące „dostawcy” i „producenta” różnią się od definicji znanych z MDR. Ponadto, ustawa o sztucznej inteligencji wymaga wykorzystywania danych demograficznych (np. danych pacjentów) do szkolenia i walidacji opracowywanych systemów, bez uwzględnienia wymogów RODO odnoszących się do prywatności i przejrzystości danych dotyczących opieki zdrowotnej. Innym aspektem, wymagającym doprecyzowania jest zakres szkolenia i walidacji systemów AI. Biorąc pod uwagę ogromne zbiory danych potrzebne do odpowiedniego szkolenia i walidacji wyrobu opartego na sztucznej inteligencji, w świetle AI Act trudno jest stwierdzić, kiedy szkolenie zostanie „ukończone”. Ten aspekt może mieć większy wpływ na technologie biomedyczne niż na inne branże, ze względu na wrażliwy charakter danych potrzebnych do szkolenia i walidacji technologii medycznej opartej na sztucznej inteligencji.

Podmioty sektora biomedycznego powinny jasno wyrażać oczekiwanie, że przyszłe wytyczne Komisji Europejskiej wyjaśnią pojawiające się niedoskonałości.

Co dalej z AI Act?

Na kwiecień tego roku zaplanowano przyjęcie ustawy przez Parlament Europejski. Następnie zostanie on zatwierdzony przez Radę UE i wejdzie w życie 20 dni po opublikowaniu w Dzienniku Urzędowym UE. Od tego momentu w terminie 6 miesięcy zaczną obowiązywać przepisy odnoszące się do systemów nieakceptowalnego ryzyka, czyli zakazy dotyczące niedozwolonych praktyk. Z kolei pozostałe przepisy mają zostać wprowadzone w terminie 2 lat.
Dla sektora biomedycznego kluczowy może okazać się fakt, że ze względu na wymóg przejścia oceny zgodności (na podstawie odrębnych przepisów UE), objęcie opracowywanych systemów wysokiego ryzyka przepisami AI Act zostanie opóźnione o dodatkowy rok.

Pełną treść AI Act przeczytacie tutaj.