Alexander Tokarev (Bank Pekao S.A.): Przetestowaliśmy AI, które analizują opinie klientów, dzięki czemu ulepszamy naszą aplikację

Algorytmy sztucznej inteligencji mają badać opinie użytkowników waszej aplikacji, abyście mogli ją ulepszać. Skąd w ogóle pomysł na takie rozwiązanie?

Pomysł wynikał z potrzeby – tak jak większość tematów, którymi zajmujemy się w Laboratorium Innowacji. Mamy podejście klientocentryczne, dlatego zależy nam na rozwoju aplikacji w oparciu o głos klienta. Dotychczas też analizowaliśmy komentarze naszych klientów, jednak robiliśmy to manualnie. To naturalny obszar do automatyzacji.

Stwierdziliśmy, że chcemy znaleźć na rynku rozwiązanie, które umożliwiłoby nam dokonywanie analizy sentymentu i kategoryzacji opinii w sposób automatyczny. Uruchomiliśmy wyzwanie w formule OpenCall i stworzyliśmy landing page, dzięki któremu zespoły mogły zapoznać się z naszym wyzwaniem i zgłaszać swoje rozwiązania. Opisaliśmy tam bardzo szczegółowo to, czego oczekujemy i czego szukamy. Wierzymy, że taka otwarta komunikacja jest w stanie przyciągnąć uwagę kreatywnych i innowacyjnych zespołów, startupów czy spółek technologicznych.

W naborze wzięły udział aż 24 spółki. Na pierwszym etapie przeprowadziliśmy dodatkowe warsztaty, podczas których wybrane firmy mogły zaprezentować swoje rozwiązania oraz odpowiedzieć na nasze pytania. Wybraliśmy te firmy, które nas przekonały. Następnie uruchomiliśmy proces pilotażu tych rozwiązań – przetestowaliśmy algorytmy i rozwinęliśmy je dzięki 70 tys. archiwalnych komentarzy.

Czym jest Laboratorium Innowacji, które pośrednio stoi za wspomnianym algorytmem i jakie ma zadanie?

Laboratorium Innowacji to jednostka w Banku Pekao S.A., która zajmuje się projektowaniem przyszłości bankowości. Chcemy współtworzyć zmianę z różnymi obszarami biznesowymi naszego banku – tak, aby niosła ona wartość dla klienta i sektora finansowego.

Obecnie Laboratorium Innowacji tworzą cztery zespoły. Pierwszy odpowiada za projektowanie innowacji. Zajmuje się on tworzeniem innowacyjnych rozwiązań we współpracy z klientem na potrzeby obszarów biznesowych Banku Pekao. Przykładem pracy tego zespołu jest PeoPay KIDS, czyli aplikacja mobilnej bankowości skierowana do dzieci w wieku 6–13 lat. W projektowaniu zespół skupia się na odpowiednim zrozumieniu potrzeb i oczekiwań klientów oraz wykorzystuje myślenie o przyszłości i pracę z trendami, oraz sygnałami zachodzących zmian.

W ramach Laboratorium funkcjonuje również nowo powstały zespół badawczy, który na co dzień przygląda się, eksploruje i poznaje naturę klientów. Odkrywa ich potrzeby, oczekiwania, zachowania i problemy, z którymi się stykają w danych zagadnieniach. Nasi badacze zadają pytania i szukają odpowiedzi po to, aby budować strategię produktu, eksplorować potrzeby użytkowników, testować powstające rozwiązania, ale również monitorować ich wdrażanie. Wszystko to pozwala projektować rozwiązania, które zapewniają użytkownikom satysfakcjonujące doświadczenia.

Trzecim zespołem jest ten odpowiadający za partnerstwo w innowacjach, który ja reprezentuję. Naszym zadaniem jest zawieranie partnerstw i współpraca ze startupami, fintechami czy spółkami technologicznymi oraz jednocześnie umożliwianie im współpracy z nami. Podejmujemy też wspólne działania z uczelniami, ambasadami, akceleratorami czy funduszami VC. Działamy też w ramach naszej grupy kapitałowej – PZU, Alior VC czy z Tpay, z którym budujemy strategiczne partnerstwo na rynku e-commerce.

Ostatni z naszych zespołów zajmuje się budowaniem wewnętrznej kultury innowacji. Podejmuje on działania mające na celu angażowanie pracowników banku w proces generowania nowych pomysłów i rozwiązań. Wykorzystuje przy tym tzw. ideę crowdsourcingu, czyli mądrości zbiorowej. Realizując usługę „Crowdsourcing as a Service” wspiera wewnętrzne zespoły projektowe przeprowadzając kampanie crowdsourcingowe. Wykorzystuje do tego autorską platformę, na której publikowane są wyzwania projektowe, pochodzące od product- i business ownerów. W myśl zasady „od problemu poprzez pomysły do rozwiązania” każdy pracownik może zgłosić swój pomysł w odpowiedzi na ogłoszone wyzwanie.

Czym dokładnie AI Busters i SentiOne urzekły Pekao? Czego wymagaliście od tych startupów?

Szukaliśmy rozwiązania, które umożliwiłoby nam automatyczną analizę feedbacku użytkowników App Store czy Google Play. Ważne było to, aby ów algorytm był w stanie zrozumieć tekst pomimo ewentualnych błędów ortograficznych czy stylistycznych. Chcieliśmy też znaleźć model sztucznej inteligencji, który na podstawie wypowiedzi użytkownika umiałby ocenić jej sentyment i odpowiednio ją skategoryzować.

Skuteczność tych algorytmów, doświadczenie zespołów czy system i jego dashboard, który byłby dla nas miejscem analizy tych komentarzy to te kryteria, na których nam najbardziej zależało.

Jak wyglądało przetestowanie tego algorytmu w praktyce? W końcu AI musi rozumieć całą wypowiedź, a niektóre z komentarzy z pewnością są dość abstrakcyjne czy niekiedy wręcz wulgarne.

To jest magia big data – jeśli analizujemy zbiory danych, to oczywiście, że wśród nich będą takie, które nie wniosą żadnej wartości. Wtedy jakaś większa analiza tego nie ma też żadnego uzasadnienia i sensu. Zależało nam na tym, aby algorytm umiał wyselekcjonować, skategoryzować i wybrać te opinie, które faktycznie niosą wartość. Tym samym mogłyby pomóc w rozwoju UX naszej aplikacji.

Sztuczna inteligencja ma też to do siebie, że się uczy. Tak jak wspominałem – pierwszym krokiem było przeanalizowanie archiwalnych komentarzy. Zespoły miały okazję przeanalizować 70 tys. opinii, które sami wcześniej wyselekcjonowaliśmy i pokategoryzowaliśmy, ale w sposób manualny. Dzięki temu algorytmy mogły szybko się rozwinąć i analizować komentarze w czasie rzeczywistym. Dodatkowo zweryfikowały pracę manualną wykonaną przez człowieka. Na koniec pilotażu udało nam się osiągnąć dokładność analizy sentymentu i kategoryzacji bliską 95%.

Te kategorie sentymentu to trzy podstawowe – negatywne, neutralne i pozytywne, tak?

Podzieliliśmy je na pozytywne, negatywne, do poprawy, neutralne i hejt. Każdy z naszych partnerów podszedł do tego zadania trochę inaczej. Jeśli chodzi o wydźwięk sentymentu, to faktycznie były to głównie te trzy modele. Natomiast mamy o wiele więcej kategorii.

Algorytmy umożliwiały nam rozbicie pojedynczego komentarza na kilka części. Niektóre opinie odnosiły się bowiem do różnych kwestii i jednoznaczne ocenienie wydźwięku nie było takie zero-jedynkowe. Algorytmy potrafią błyskawicznie skategoryzować odpowiednio te odrębne części, co jest sporą wartością dla Banku Pekao.

Każda z tych części ma nieco inny insight dla analityka. Dzięki temu mogliśmy nie tylko przypisać komentarz do jednej kategorii, ale faktycznie „wczytać się” w tę opinię i znaleźć tam kilka kwestii, które nas interesowały. Dawały też możliwość zbadania korelacji z posiadanym zasobem i bazą.

Co ważne, przy samej analizie sentymentów sugerowaliśmy się nie tyle liczbą gwiazdek, co bardziej tym, czego komentarz faktycznie dotyczy. Czasem ten system gwiazdkowy może być mylący i dawać fałszywy obraz. Może pojawić się bowiem negatywny czy neutralny komentarz, który oceni aplikację na pięć gwiazdek.

W czym jeszcze pomaga wam sztuczna inteligencja?

Tych obszarów jest wiele. Wspólnie ze startupami testujemy np. dwa rozwiązania z obszaru OCR i text-mailingu. Obecnie jesteśmy w trakcie ich pilotażu. Realizujemy je w ramach programu ScaleUp. Zależy nam w tym obszarze na optycznym rozpoznawaniu znaków nieszablonowych i standardowych dokumentów, które dostarczają nam nasi klienci.

Testowaliśmy także rozwiązania chat- i voicebotowe. W zasadzie większość rozwiązań innowacyjnych jest obecnie wspomagana przez różne silniki decyzyjne i sztuczną inteligencję.

A jak ma się sprawa samej mierzalności efektywności tych rozwiązań z zakresu sztucznej inteligencji?

W samych pilotażach ustalamy z partnerami bardzo konkretne i mierzalne KPI, żeby zweryfikować, na ile proponowane rozwiązanie spełnia nasze kryteria i wymagania. Ten miarodajny wynik służy nam też do tego, żeby zdecydować, czy wdrażać je na pewnej skali, czy komercyjnie. W trakcie pilotażu z AI Busters i SentiOne też stosowaliśmy KPI, co do skuteczności poszczególnych algorytmów.

Oczywiście – przy wdrażaniu staramy się te rozwiązania również mierzyć, tj. poprawę procesów, skrócenie czasu pracy, wsparcie pracowników czy samą efektywność rozwiązania. Oczywiście w zależności od tego, kogo dane rozwiązanie dotyczy.