PULSE, czyli AI, które tworzy ludzkie twarze z kompletnie rozpikselowanych fotek
Sztuczna inteligencja nauczyła się właśnie zupełnie nowej sztuczki, a mianowicie jest w stanie tworzyć fotorealistyczne twarze z kompletnej pikselozy, dodając przy tym takie szczegóły, jak rzęsy czy zmarszczki, których nie było w oryginale.
Od razu warto jednak zaznaczyć, że nie będzie to przydatne narzędzie dla osób, które chcą poprawić fotki z wakacji, bo AI służy do generowania zupełnie nowych sztucznych twarzy na podstawie prawdziwych, ale rozpikselowanych. Tak czy inaczej, to bardzo ciekawa funkcjonalność, a PULSE (Photo Upsampling via Latent Space Exploration), bo o nim właśnie mowa, potrafi stworzyć fotografie o rozdzielczości 64 razy większej niż obraz źródłowy, co oznacza 8 razy lepszą dokładność niż obserwowano u wcześniejszych metod. Jak twierdzi Cynthia Rudin z Duke University: - Nigdy wcześniej obrazy w super-rozdzielczości nie były tworzone z taką liczbą detali.
Co ciekawe, metoda działania PULSE jest zaskakująca, bo działa jakby wstecz - system nie próbuje odtworzyć oryginalnej twarzy z pikseli, dodając kolejne szczegóły, ale stara się generować obrazy, które po rozpikselowaniu wyglądałyby jak pierwotne rozmazane zdjęcie. Dzięki temu siatka 16x16 pikseli może zostać zmieniona w obraz o rozdzielczości 1024x1024 piksele w ciągu kilku sekund, podczas których dodaje się ponad milion pikseli. AI korzysta w tym celu z sieci neuronowych typu GAN, tj. generatywnych sieci przeciwstawnych, które zasłynęły wcześniej deep fake’ami.
W tym konkretnym przypadku jednoczesne działanie dwóch sieci neuronowych trenowanych na tych samych materiałach oznacza, że jedna generuje twarze, a druga decyduje, czy są wystarczająco realistyczne. Dzięki temu naukowcy otrzymują twarze, które nie są zamazane albo mają niewyraźne fragmenty, często pojawiające się w przypadku innych metod ich generowania. Wystarczy spojrzeć tu na zaprezentowane jakiś czas temu przez Nvidię efekty prac z sieciami GAN - dostaliśmy wtedy przerażająco realistyczne twarze osób, które nie istnieją i nigdy nie istniały, a były jedynie wytworem sztucznej inteligencji.
W przypadku PULSE obrazy są generowane poprzez mieszanie istniejących twarzy w coś zupełnie innego, a co więcej materiałem źródłowym nie są pełne szczegółów zdjęcia w wysokiej rozdzielczości, ale takie kompletnie rozpikselowane. W związku z tym z jednego materiału źródłowego może powstać wiele twarzy, a metodę tę można zastosować również do wszystkich innych obiektów przedstawionych na materiałach źródłowych - kotów, wschodów słońca, drzew, balonów itp. I to właśnie te możliwości sprawiają, że PULSE może znaleźć praktyczne zastosowanie, choćby w medycynie, mikroskopii, astronomii czy obrazowaniu satelitarnym.
Źródło: GeekWeek.pl/sciencealert
