Mikrofon optyczny, który widzi dźwięk. Jak to możliwe?

System został stworzony w Instytucie Robotyki Szkoły Informatyki i wykorzystuje dwie kamery i laser do wykrywania szybkich drgań o niskiej amplitudzie. Wibracje mogą posłużyć do rekonstrukcji dźwięku, przechwytując izolowany dźwięk bez zakłóceń.

Do tej pory zespół badawczy wykonał kilka udanych demonstracji skuteczności swojego systemu. Uchwycili oni wyizolowany dźwięk gitar grających w tym samym czasie oraz dźwięki muzyki dochodzącej z pojedynczych głośników grających jednocześnie różne piosenki. Naukowcy dokonali tego przez m.in. analizę wibracji kamertonu oraz wibracji... paczki chipsów.

System dwóch kamer jest w stanie przechwycić wibracje pochodzące z obiektów, które są w ruchu, np. ruch gitary, i jednocześnie "wyczuwać" poszczególne dźwięki z wielu innych punktów.

System działa na podstawie wykonywanych analiz różnic we wzorach punktów na zdjęciach wykonanych za pomocą migawki globalnej i rolling shutter.

Rolling shutter jest metodą przechwytywania obrazu, gdzie migawka skanuje dane sceny, które nie są rejestrowane od razu w całości, tylko fragmentami, pionowo, poziomo lub obrotowo.

Specjalny algorytm oblicza różnicę we wzorcach punktów z dwóch nagrań i przekształca te różnice w wibracje, aby zrekonstruować dźwięk.

Wzór punktów odnosi się do sposobu, w jaki światło zachowuje się w przestrzeni pod odbiciu się od szorstkiej powierzchni. Inżynierowie tworzą te wzory, celując laserem w powierzchnię obiektu wytwarzającego wibracje, np. korpus gitary, czy paczka chipsów. Wzór punktów zmienia się, gdy wibruje dana powierzchnia.

Migawka (rolling shutter) szybko przechwytuje obraz, jednocześnie go skanując, tworząc obraz przez ułożenie jednego rzędu pikseli na drugim. Z kolei migawka globalna rejestruje obraz w jednym zdjęciu.

Jednym z zastosowań mikrofonu optycznego jest tworzenie wizji komputerowych, które będą wykorzystywane w przestrzeni kosmicznej, zwłaszcza w pojazdach autonomicznych. Nowy system ma pomóc w rozpoznawaniu i śledzeniu obiektów w kosmosie.

Nowy system umożliwi lepsze widzenie niezauważalnych wibracji o wysokiej częstotliwości.

Dodatkowo mikrofon optyczny może być niezwykle użyteczny przy tworzeniu muzyki lub w monitorowaniu drgań poszczególnych maszyn na hali produkcyjnej, aby wykryć wczesne oznaki konieczności naprawy.

"Jeśli twój samochód zaczyna wydawać dziwny dźwięk, wiesz, że nadszedł czas, aby go obejrzeć. Teraz wyobraź sobie halę pełną maszyn. Nasz system pozwala monitorować stan każdej z nich, wykrywając ich wibracje za pomocą jednej stacjonarnej kamery." powiedział Sheinin.

Pierwsze mikrofony wizualne zostały opracowane przez naukowców z MIT w 2014 roku.

Od wielu lat słyszymy, że możemy być podsłuchiwani przez nasze telefony, tablety, czy komputery. Obecnie istnieje co najmniej kilka programów szpiegowskich, które mogą zdalnie aktywować mikrofon na danym urządzeniu i nagrywać dźwięki dochodzące z najbliższego otoczenia.

Wcześniej Edward Snowden ujawnił, że CIA używała systemów do szpiegowania smartfonów, które wykorzystywały nawet aplikacje z grami na telefon.

Nowy system potencjalnie daje szpiegom niemal nieograniczone, nowe możliwości w ich pracy.