Czy AI wreszcie sprawdzi się jako lektor w filmie? Dubformer z 3,4 mln EUR na bardziej emocjonalny dubbing

Runda była prowadzona przez Almaz Capital, z s16vc i FinSight jako kluczowymi inwestorami, wraz z aniołami biznesu, takimi jak Arul Menezes, założyciel Microsoft Translator, i Funa Maduka, były szef International Original Film w Netflix.

Finansowanie to umożliwi Dubformer rozwój technologii Emotion Transfer, która usprawnia dubbing poprzez przenoszenie emocji zamiast klonowania głosów.

Emocjonalny dubbing i pełne zanurzenie

– Dzięki naszemu rozwiązaniu przechwytujemy również charakterystykę akustyczną – taką jak echo i pogłos – poprawiając ogólne wrażenia. Skupiamy się na tworzeniu poczucia pełnego zanurzenia u odbiorcy, dbając o to, aby nigdy nie pomyślał on, że z dubbingiem jest coś nie tak – powiedział Anton Dvorkovich, założyciel i dyrektor generalny Dubformer.

Dubformer został założony w 2023 roku przez Antona Dvorkovicha, eksperta w dziedzinie tłumaczenia maszynowego z ponad 10-letnim doświadczeniem i byłego szefa działu NLP i mowy w Yandex. Główny zespół, eksperci w dziedzinie sztucznej inteligencji i technologii mowy, wcześniej uruchomił największe na świecie rozwiązanie do dubbingu AI, które miało ponad 5 milionów użytkowników i 150 milionów minut oglądania dziennie.

Dubformer opracowuje oprogramowanie oparte na sztucznej inteligencji do profesjonalnego dubbingu mediów, koncentrując się na programach telewizyjnych, serialach i animacjach. Z misją przełamywania barier językowych, autorskie technologie AI Dubformer lokalizują treści wideo dla globalnej publiczności, tłumacząc je na ponad 130 języków.

Jak uczynić dubbing bardziej realistycznym?

Pomimo postępów w branży dubbingu AI, Dubformer twierdzi, że jakość dubbingowanych treści generowanych przez AI wciąż nie jest przekonująco realistyczna. Ostatnie badania wskazują, że emocjonalne głosy są prawdopodobnie identyfikowane jako ludzkie, podczas gdy neutralne tony są ogólnie kojarzone ze sztuczną inteligencją.

Rynek lokalizacji wideo, wart obecnie 6,6 mld euro, rośnie w tempie 16% rocznie (CAGR). Oprócz niezależnych firm oferujących rozwiązania dubbingowe, główni gracze inwestują również w wewnętrzne innowacje, aby poprawić lokalizację treści i zwiększyć zasięg odbiorców.

U podstaw Emotion Transfer leży jego zdolność do generowania lokalnych aspektów mowy – takich jak intonacja, emocje i tempo – przy użyciu źródłowego dźwięku jako odniesienia. Jest to generatywny dubbing, a nie zwykła replikacja głosu. Ponieważ języki mają unikalne cechy prozodyczne, idealne naśladowanie wszystkich niuansów mowy jest niemożliwe. Takie podejście zapewnia bardziej naturalny i wciągający dubbing w porównaniu z konwencjonalnymi technologiami, takimi jak zamiana tekstu na mowę lub klonowanie głosu.

Od momentu uruchomienia Dubformer szybko się rozwija, zyskując popularność wśród firm medialnych i twórców treści. W ciągu ostatnich sześciu miesięcy wzrost platformy znacznie przyspieszył, średnio o ponad 50% z miesiąca na miesiąc, odzwierciedlając rosnące zapotrzebowanie na wysokiej jakości, emocjonalnie ekspresyjny dubbing AI.

Dubformer obsługuje obecnie ponad 200 klientów w Stanach Zjednoczonych i Europie, w tym Paramount, Little Dot Studios i Mainstream Media. Współpracuje również z takimi firmami jak Voxx (Los Angeles), Presto (Czechy) i Gobavo (Turcja).

– W szybko zmieniającym się krajobrazie dubbingu AI, Dubformer jest zaangażowany w napędzanie branży, stawiając czoła jej kluczowym wyzwaniom. Dzięki uchwyceniu emocjonalnej istoty treści, umożliwiamy firmom medialnym poszerzenie globalnego zasięgu odbiorców przy jednoczesnym obniżeniu kosztów lokalizacji – a wszystko to bez uszczerbku dla satysfakcji widzów – powiedział Dvorkovich.