Ujawnili słabości sztucznej inteligencji. Ma problemy z zegarkiem
Jak wynika z nowego badania, którego wyniki zostaną zaprezentowane 28 kwietnia 2025 roku podczas warsztatów "Reasoning and Planning for Large Language Models" na International Conference on Learning Representations w Singapurze, nawet niektóre z najbardziej zaawansowanych systemów sztucznej inteligencji mają trudności z odczytywaniem godziny i analizowaniem dat w kalendarzach.
Choć przez gwałtowny rozwój sztucznej inteligencji w ostatnich latach wydaje się, że modele AI potrafią wykonywać dosłownie wszystko, to mają też swoje słabości. Z jednej strony potrafią wykonywać skomplikowane zadania typu pisanie esejów czy generowanie obrazów, ale nadal nie opanowały umiejętności, które są dla ludzi zupełnie naturalne, jak sprawdzanie godziny na zegarku czy daty w kalendarzu.
Zespół z Uniwersytetu w Edynburgu wykazał, że nowoczesne modele AI nie są w stanie niezawodnie interpretować pozycji wskazówek zegara ani poprawnie odpowiadać na pytania dotyczące dat w kalendarzach. W przeciwieństwie do prostego rozpoznawania kształtów, zrozumienie zegarów analogowych i kalendarzy wymaga bowiem połączenia świadomości przestrzennej, kontekstu oraz podstawowej matematyki, co wciąż jest dla sztucznej inteligencji poważnym wyzwaniem.
AI, która jest godzina?
Naukowcy przeprowadzili testy, w których sprawdzali zdolność multimodalnych dużych modeli językowych (MLLMs) do odpowiadania na pytania dotyczące czasu na podstawie obrazów zegarów i kalendarzy. Eksperyment obejmował różne projekty zegarów, w tym takie z cyframi rzymskimi, z i bez wskazówki sekundowej, a także tarcze w różnych kolorach.
Wyniki pokazały, że modele AI poprawnie rozpoznawały położenie wskazówek w mniej niż 25 proc. przypadków. Błędy były częstsze w przypadku zegarów z cyframi rzymskimi lub stylizowanymi wskazówkami. Co więcej, usunięcie wskazówki sekundowej nie poprawiło wyników, co sugeruje, że problem tkwi w podstawowej zdolności do rozpoznawania kątów i pozycji wskazówek.
Nawet dzieci potrafią, ale nie AI
Badacze sprawdzili także, czy AI potrafi odpowiadać na pytania związane z kalendarzami, np. identyfikować święta lub obliczać daty w przeszłości i przyszłości. Nawet najlepszy model popełniał błędy w 20 proc. przypadków. Jak komentuje kierujący badaniami Rohit Saxena z Wydziału Informatyki Uniwersytetu w Edynburgu:
Większość ludzi od najmłodszych lat potrafi odczytać godzinę i korzystać z kalendarza. Nasze badania ujawniają istotną lukę w zdolnościach AI do wykonywania zadań, które dla ludzi są podstawowe. Jeśli te braki nie zostaną rozwiązane, skuteczna integracja AI z aplikacjami wymagającymi precyzyjnego określania czasu - takimi jak planowanie, automatyzacja i technologie wspierające
