NaviSense zmieni życie niewidomych. Nowa aplikacja AI na smartfony
Naukowcy z Penn State opracowali innowacyjne narzędzie na smartfony, które może okazać się niezwykle pomocne do osób niewidomych czy niedowidzących. A mowa o systemie NaviSense, który wykorzystuje sztuczną inteligencję do identyfikowania obiektów w czasie rzeczywistym i prowadzenia użytkowników do nich za pomocą wskazówek dźwiękowych oraz haptycznych.
Technologia została zaprezentowana podczas konferencji ACM SIGACCESS ASSETS '25 w Denver, gdzie zdobyła nagrodę Best Audience Choice Poster Award. NaviSense ma na celu rozwiązanie problemów, które od lat ograniczały działanie dotychczasowych aplikacji wspomagających. Wiele z obecnych narzędzi wymaga wsparcia zespołów ludzkich lub wczytania wcześniej przygotowanych bibliotek obiektów, co znacząco ogranicza elastyczność użytkowania. Zespół NaviSense postanowił wykorzystać AI, aby to zmienić:
Wcześniej modele obiektów musiały być wczytane do pamięci serwisu, aby mogły być rozpoznawane. To było nieefektywne i ograniczało użytkowników
AI i uczenie maszynowe w służbie użytkownika
Aplikacja łączy się z zewnętrznym serwerem, który obsługuje duże modele językowe (LLM) i modele łączące obraz z językiem (VLM). Dzięki temu NaviSense może rozumieć polecenia głosowe, skanować otoczenie i identyfikować przedmioty bez konieczności korzystania ze statycznych baz danych.
Pierwsze testy pokazują obiecujące wyniki
System filtruje nieistotne obiekty i w razie wątpliwości zadaje dodatkowe pytania, zapewniając interaktywną i elastyczną obsługę. Jedną z najciekawszych funkcji NaviSense jest prowadzenie ręki użytkownika. Aplikacja śledzi ruch telefonu, a tym samym ręki i przekazuje wskazówki kierunkowe, pomagając precyzyjnie sięgnąć po dany przedmiot.
Nie było gotowego rozwiązania, które aktywnie prowadziłoby rękę użytkownika, a ta funkcja była wielokrotnie zgłaszana w naszych badaniach
W kontrolowanych testach wzięło udział 12 uczestników, którzy porównywali NaviSense z dwoma komercyjnymi rozwiązaniami. Nowe narzędzie skracało czas wyszukiwania przedmiotów i poprawiało precyzję wskazań. Użytkownicy chwalili intuicyjne prowadzenie i wygodę obsługi. Jeden z uczestników podsumował: "Podoba mi się, że wskazuje lokalizację obiektu - w lewo, w prawo, w górę, w dół - i trafiasz idealnie". Zespół pracuje teraz nad optymalizacją zużycia energii i wydajności modeli, zapewnia jednak, że NaviSense jest bliski komercyjnego wprowadzenia na rynek i może stać się przełomowym rozwiązaniem dla osób niewidomych i niedowidzących.
