Wirtuoz pianina? Nie, to tylko sztuczna inteligencja w akcji
Jeśli komputer, który potrafi na podstawie niemych filmów zidentyfikować grane dźwięki, nie robi na Was większego wrażenia, to nowe AI realistycznie reprodukujące te dźwięki cyfrowo z pewnością je zrobi.
Audeo, bo o nim właśnie mowa, to technologia zaprojektowana przez zespół naukowców Uniwersytetu Waszyngtońskiego. W jego skład wchodzi m.in. oprogramowanie sztucznej inteligencji, trenowane na 172 tysiącach klatek z nagrywanych znad głowy filmów, na których możemy podziwiać w akcji pianistę Paula Bartona, grającego muzykę klasycznych kompozytorów, jak Mozart czy Bach. Analizując taki materiał, system zaczyna od obserwacji, jakie klawisze są naciskane w jakiej kolejności, ustalając indywidualne nuty i ich układ. Co więcej, AI na dodatek dostrzega, jak mocno naciskany jest dany klawisz i jak długo jest trzymany - wszystko po to, żeby ustalić, jak intensywna ma być każda nuta.
Wszystkie te dane są następnie zmieniane w format, który może być zrozumiany przez istniejący syntezator cyfrowy. W końcowym teście Audeo dostało za zadanie reprodukcję muzyki granej na pianinie przez Bartona, oczywiście również na podstawie niemych filmów, ale takich, na których nie było trenowane. Efekty są naprawdę imponujące, bo kiedy ten odtwarza muzykę z plików, ta brzmi bardzo podobnie do oryginału (można posłuchać ), a nie w sposób, jaki pamiętamy z 8-tonowych dzwonków na komórkę. Na dowód wystarczy wspomnieć, że kiedy aplikacje do rozpoznawania muzyki, np. SoundHound, miały rozpoznać grane przez Audeo dźwięki, wykazywały skuteczność na poziomie 86%.
Co warto jednak podkreślić, nawet w przypadku oryginałów nie było to 100%, a jedynie 93%, więc wynik sztucznej inteligencji jest naprawdę fenomenalny, a do tego wraz z rozwojem technologii należy się spodziewać, że jeszcze się poprawi. - Mamy nadzieję, że nasze badania pozwolą na nowatorskie sposoby interakcji z muzyką. Na przykład, jednym z przyszłych zastosowań Audeo - po jego lekkiej modyfikacji - może być jego wykorzystanie jako wirtualnego pianina z kamerą nagrywającą ręce użytkownika. Co więcej, po umieszczeniu kamery nad prawdziwym pianinem, Audeo może potencjalnie pełnić funkcję asystenta-nauczyciela w nowym typie lekcji dla uczniów - tłumaczy jeden z autorów badań, profesor Eli Shlizerman.
Źródło: GeekWeek.pl/University of Washington
