Algorytmiczne lustro społecznych uprzedzeń: raportu „Równanie płci 2”

Autorzy opracowania postawili sobie za cel ilościowe zmierzenie skali uprzedzeń płciowych (tzw. gender bias) w 18 popularnych modelach AI za pomocą 8 standaryzowanych baterii testowych (E1–E8), a także zbadanie możliwości ich redukcji.

Dwa kluczowe mity rynkowe, które legły w gruzach

Najważniejszą wartością raportu Agidot jest empiryczne obalenie dwóch powszechnych przekonań, którymi producenci oprogramowania AI chętnie mamią swoich klientów biznesowych:

Mit I: „Nowszy i większy model oznacza mniej uprzedzeń”

Praktyka wykazuje zjawisko zgoła odwrotne. W badaniu WEAT (Word Embedding Association Test – mierzącym siłę skojarzeń płci z kategoriami takimi jak kariera, rodzina, nauka czy sztuka) najgorzej wypadły najnowsze, wyspecjalizowane polskie modele embeddingowe MMLW (średnia wielkość efektu w przybliżeniu |d|=1,05, co oznacza efekt bardzo duży i istotny statystycznie). Dla porównania, klasyczny model fastText sprzed lat uzyskał wynik |d|=64, okazując się mniej stronniczy niż nowoczesne rozwiązania z rodzimego rynku.

Mit II: Wyższa biegłość językowa = sprawiedliwość

Skąd bierze się wysoki bias polskich modeli? Jak zauważają autorzy, to bezpośredni skutek głębszego opanowania specyfiki języka polskiego. Model, który lepiej rozumie niuanse i kontekst polszczyzny, wchłania z danych treningowych również zawarte w nich stereotypy kulturowe. Globalne giganty (np. multilingual-e5-large z |d|= 0,}34) wydają się „czystsze” nie dlatego, że są sprawiedliwsze, lecz dlatego, że słabiej wyłapują polskie zależności językowe.

Model kontra rzeczywistość: zniekształcone odbicie rynku pracy

Ciekawym zabiegiem metodologicznym raportu jest zestawienie wyobrażeń modeli językowych o „męskości” i „żeńskości” danych zawodów z oficjalnymi danymi Eurostatu (badanie BAEL/LFS 2023, klasyfikacja ISCO-08).

• Sygnał jest jednoznaczny: Analiza wykazała silną korelację ujemną (r = -0,50 do -0,55) – im wyższy realny udział kobiet w danym zawodzie, tym bardziej „żeński” jest on na wyznaczonej przez model osi płci.

• Gdzie leży niebezpieczeństwo? Choć model jedynie odbija rzeczywistość statystyczną, w zastosowaniach komercyjnych działa jak cyfrowy utrwalacz status quo. Jeśli w sektorze inżynieryjnym pracuje 20% kobiet, algorytm traktuje pojęcie „inżynier” jako domyślnie męskie. Wykorzystany w marketingu czy doradztwie zawodowym będzie serwował ogłoszenia o pracę na stanowiska techniczne głównie mężczyznom, zamykając błędne koło dyskryminacji.

Rekrutacja pod lupą: kiedy algorytm podejmuje decyzje o ludziach?

Najbardziej niepokojące wnioski przynosi bateria testowa E8, w której przeprowadzono symulację tzw. resume screening (przeglądania CV). Do 11 modeli czatowych przesłano 330 realistycznych aplikacji na 5 stanowisk. Dokumenty były identyczne pod względem wykształcenia i doświadczenia; różniły się wyłącznie imieniem kandydata (Piotr Nowak vs Anna Nowak).

O ile większość modeli została skalibrowana do zachowania względnej neutralności przy jawnych ocenach punktowych (średnia luka wynosiła niewielkie +0,62 pkt), o tyle rozrzut w konkretnych wdrożeniach jest porażający:

• Niezwykle popularny, otwarty model Llama 3.1 8B za dokładnie to samo CV przyznawał mężczyźnie średnio o +5,2 pkt więcej w 100-punktowej skali.

• Co kluczowe, dysproporcja ta drastycznie rosła na stanowiskach stereotypowo „męskich” (np. Inżynier budowy – średnia przewaga mężczyzn o +1,70 pkt). Kobieta traciła punkty dokładnie tam, gdzie i tak jest niedoreprezentowana.

4. Okiem Analityka: Dystans, krytyka i kontekst regulacyjny

Mimo niewątpliwej wartości merytorycznej i podania twardych danych, badanie firmy Agidot wymaga chłodnej, analitycznej oceny pod kątem metodologicznym i biznesowym:

A. Ocena skuteczności inżynierii „Debiasingu” (Rozdział 9)

Autorzy raportu chwalą się, że za pomocą prostej algebry liniowej (odjęcia kierunku osi płci w przestrzeni wektorowej) zredukowali duży bias modeli MMLW z poziomu |d|=1,47 do zaledwie |d| = +0,30.

• Perspektywa krytyczna: Warto pamiętać, że tzw. debiasing na poziomie wektorów usuwa jedynie najbardziej jawną, liniową składową uprzedzenia. Subtelniejsze, wielowymiarowe asocjacje nadal pozostają zakodowane w głębszych warstwach modelu. Jest to zabieg skuteczny narzędziowo, lecz nie gwarantujący absolutnej „etyczności” systemu.

B. Kontekst biznesowy i marketingowy (Content Marketing)

Agidot sp. z o.o. jest podmiotem komercyjnym, oferującym audyty AI, wdrożenia systemów RAG oraz szkolenia biznesowe. Raport pełni zatem klasyczną rolę lewarowania autorytetu w ramach lejka sprzedażowego (Inbound Marketing). Nie umniejsza to wartości naukowo-badawczej zestawienia, lecz tłumaczy obecność wątków zachęcających do komercyjnego audytowania modeli przed ich użyciem.

C. Zderzenie z regulacjami: EU AI Act

Wyniki raportu nabierają szczególnego znaczenia w kontekście unijnego rozporządzenia EU AI Act. Zgodnie z europejskimi przepisami, algorytmy wykorzystywane w HR (selekcja CV, ocena pracowników, awanse) zostały zaliczone do systemów wysokiego ryzyka (High-Risk AI Systems). Nakłada to na przedsiębiorstwa prawny obowiązek stałego monitorowania i zarządzania ryzykiem biasu pod groźbą dotkliwych kar finansowych. Bezrefleksyjne wdrożenie modelu typu Llama 3.1 8B do analizy CV bez audytu może stanowić dla firmy bezpośrednią ekspozycję na ryzyko prawne i reputacyjne.

Podsumowanie i Rekomendacje

Raport „Równanie Płci 2” to ważny, poparty dowodami głos w dyskusji nad odpowiedzialną sztuczną inteligencją. Potwierdza, że AI nie jest neutralnym narzędziem – to lustro, które bez odpowiedniej kalibracji zniekształca i utrwala najgorsze wzorce społeczne.

3 najważniejsze rekomendacje dla kadry zarządzającej:

1. Nigdy nie ufaj metrykom marketingowym: Wielkość modelu ani renoma dostawcy nie gwarantują obiektywizmu algorytmu.

2. Testuj systemy na własnych danych (Audyt parami): Zanim pozwolisz sztucznej inteligencji przetwarzać aplikacje rekrutacyjne, przeprowadź ślepe testy różnicowe.

3. Stosuj zasadę Human-in-the-Loop: Sztuczna inteligencja w procesach kadrowych powinna pełnić wyłącznie rolę asystencką, a nie decyzyjną.

Źródło: Analiza na podstawie raportu Agidot sp. z o.o., „Równanie Płci 2: Bias płciowy w modelach AI – tym razem w liczbach” – raport dostępny tutaj.