Do współpracy weszła firma Intel, Microsoft AI for Earth oraz firma konsultingową Gramener zajmującą się danymi naukowymi. Firma konsultingowa pozyskała zdjęcia kolonii pingwinów z Antarktydy z projektu Penguin Watch Uniwersytetu Oksfordzkiego, który w ciągu ostatniej dekady pozyskał miliony poklatkowych zdjęć w ponad 40. Następnie dane te były przekazywane za pośrednictwem programu opartego o sztuczną inteligencję, stosowanego do analizy obrazów wizualnych, który zapisywał informacje przestrzenne podczas lokalizowania liczby pingwinów i szacował wzrost ich populacji.
Procesory Intel Xeon Scalable zostały wykorzystane do przeszkolenia modelu w środowisku wirtualnym na platformie chmury Microsoft Azure, która następnie została porównana przy użyciu zestawu narzędzi Optymalizacja dla PyTorch firmy Intel.
Nie było to łatwe zadanie. Niektóre obrazy przedstawiały zniekształcenia perspektywy i sylwetki pingwinów na pierwszym planie wydawały się większe niż te w tle. Zdarzało się też, że pingwiny w tle były ukryte za różnymi przedmiotami. Pojawiła się też zmienność w zakresie jakości obrazu i kątów widzenia, wynikająca z nieprzewidywalnych warunków atmosferycznych, a często występowały różnice w obrębie tego samego obrazu.
– Staliśmy przed wieloma wyzwaniami. Prawie 70% obrazów było bezużytecznych, ponieważ albo oświetlenie nie było dobre, albo było mgliste, a pingwiny nie były widoczne. Są one łatwe do zauważenia dla ludzkiego oka, ale trudne dla algorytmu – powiedział główny badacz danych Soumya Ranjan Mohanty.
Technologia w służbie ekologii
To nie jest pierwszy ekologiczny projekt Gamener. Firma konsultingowa współpracowała z Microsoftem w celu zbudowania modelu zdolnego do klasyfikowania tysięcy różnych gatunków flory i fauny, z wykorzystaniem otwartych danych źródłowych z iNaturalist. Opracowała również dwuetapowe rozwiązanie, które wychwytuje nieprzydatne obrazy z kamera-pułapek i identyfikuje te, na których pojawiają się zwierzęta.
Firma Gamener współpracowała też z fundacją Nisqually River Foundation w celu wyławiania gatunków ryb, analizując materiał wideo z podwodnej kamery, która jest aktywowana, gdy ryby przepływają obok czujników na podczerwieni.
Nie są to pierwsze przypadki, kiedy nowe technologie są wykorzystywane przez ekologów. W grudniu 2019 roku firma Google nawiązała współpracę z Conservation International i innymi organizacjami w celu przetworzenia jednej z największych i najbardziej zróżnicowanych baz danych zdjęć wykonanych z aparatów fotograficznych aktywowanych ruchem.
Natomiast w zeszłym roku DeepMind przeprowadził szczegółowe badania ekologiczne w celu opracowania systemów grup ptaków, które pomogą zbadać zachowanie gatunków zwierząt w Tanzanii w Parku Narodowym Serengeti.
