Maciej Pęśko, Adam Svystun, Paweł Andruszkiewicz, Przemysław Rokita i Tomasz Trzciński to studenci Politechniki Warszawskiej, którzy stoją za Comixify. Jest to narzędzie, które umożliwia przekształcenie wybranych kadrów z filmu w komiks.
Jak dokładnie działa Comixify? Przekształcanie filmu w komiks jest podzielone na dwa główne etapy: ekstrakcję klatek i transfer stylu.
Najpierw wyodrębniane są reprezentatywne sceny z nagrania. Żeby to zrobić, studenci rozwinęli algorytm oparty o metodę uczenia ze wzmocnieniem (Reinforcement Learning), mający na celu inteligentne podsumowanie filmu. Przez dodanie modułu estymującego jakość zdjęcia oraz jego popularność, Comixify jest w stanie nie tylko wybrać z filmu klatki najbardziej reprezentatywne, ale również te, które prezentują najwyższy potencjał estetyczny i mają największą szansę na popularność.
Po uzyskaniu ramek odbywa się transfer stylu do obrazów, czyli nadanie im komiksowego charakteru. W tym celu naukowcy wdrażają generatywny model sieci neuronowych typu GAN, czyli techniki uczenia maszynowego za pomocą dwóch różnych sieci: generatora i dyskryminatora. Podczas trenowania algorytm otrzymuje dane (np. obrazki), które generator wykorzystuje do tworzenia nowych instancji danych. Dyskryminator zaś ma na celu sprawdzenie, czy instancja pochodzi z zestawu danych treningowych (prawdziwych), czy wygenerowanych przez sieć generatora (fałszywych). Proces trwa do momentu, w którym generator będzie tworzył instancje tak podobne do zestawu treningowego, że dyskryminator nie będzie już w stanie stwierdzić różnicy.
Na tę chwilę Comixify przekształca filmy na nieme komiksy, natomiast w niedalekiej przyszłości twórcy chcą rozbudować narzędzie o moduł, dzięki któremu będzie można tworzyć dymki z odpowiednimi kwestiami.
Każdy może sam przetestować narzędzie Comixify na stronie projektu. Wystarczy wgrać tam swój własny film o wielkości do 50 MB, lub wykorzystać gotowy materiał z YouTube.
Publikacja naukowa opisująca algorytm ukazała się w internecie 12 grudnia 2018 roku i z miejsca wywołała falę zainteresowania na całym świecie. W tym czasie strona Comixify zanotowała ponad 140 tysięcy wejść, wygenerowano na niej kilkanaście tysięcy komiksów, a twórcy otrzymali liczne wiadomości od zainteresowanych rozwiązaniem producentów filmowych oraz wydawców komiksów z Europy i Stanów Zjednoczonych.
źródło: pw.edu.pl
