Złudzenie inteligencji. Modele AI nie radzą sobie w prawdziwym świecie
Modele sztucznej inteligencji radzą sobie dobrze tylko wtedy, gdy mają do czynienia z danymi podobnymi do tych, na których były trenowane. W nowych sytuacjach ich skuteczność drastycznie maleje, a AI często błędnie twierdzi, że jest pewna swoich rozpoznań, co może prowadzić do poważnych konsekwencji.
Sztuczna inteligencja miała rozpoznawać świat tak jak my. Miała widzieć kota w lesie, ptaka na tle zachodzącego słońca, zmianę na zdjęciu rentgenowskim. Marketing systemów obrazowania opartych na AI sugeruje, że modele bez trudu poradzą sobie z nowymi ekosystemami i sytuacjami. Tymczasem badacze z University of Exeter studzą entuzjazm. w artykule opublikowanym w PLOS Biology.
Problem jest zaskakująco prosty. Modele działają dobrze tam, gdzie były trenowane. Gdy jednak przeniesiemy je w inne środowisko, ich skuteczność potrafi gwałtownie spaść. A my często tego nawet nie zauważamy.
Przenoszenie modeli AI? Nic z tego
- Najważniejszy wniosek jest taki, że mimo iż uznaje się je za "złoty standard", wskaźniki wydajności (testy używane do oceny AI) nie wskazują wiarygodnie prawdziwych możliwości modeli - mówi dr Thomas O'Shea-Wheller. - Widzimy wiele twierdzeń, które rzekomo porównują możliwości najnowszych modeli z ludźmi w bardzo szerokich scenariuszach. Jednak opierają się one na testach przeprowadzanych na zbiorach danych, które nie zawsze przekładają się na zadania w świecie rzeczywistym. Model wytrenowany do rozpoznawania kotów na podstawie zdjęć stockowych będzie działał dobrze, gdy testuje się go na innych zdjęciach stockowych kotów, ale nie przełoży się to na skuteczne wykrywanie kotów w naturze. Niebezpieczeństwo polega na tym, że takie wskaźniki, często złożone z arbitralnych kategorii obrazów, są wykorzystywane do zawyżania oceny wydajności i uogólnialności model - dodaje naukowiec.
Brzmi technicznie, ale konsekwencje są bardzo realne. W ekologii, która interesowała w tym przypadku naukowców, może to oznaczać błędny monitoring gatunków. Ale już w medycynie będą to jeszcze poważniejsze skutki.
Zobacz również:
Gdy AI jest pewna… i się myli
- W przypadku identyfikacji dzikiej przyrody można skończyć z czymś, co nie działa dobrze, ale wydaje się bardzo pewne swoich wniosków. Mówiąc wprost, AI ma trudności z rzeczami, których wcześniej nie widziała, ale niekoniecznie zakomunikuje to użytkownikowi - dodaje Katie Murray z Centrum Ekologii i Ochrony Przyrody.
To sedno problemu. Model nie mówi "nie wiem". Często odpowiada z pełnym przekonaniem. A jak podkreśla dr O'Shea-Wheller, gdy system zawodzi, bywa to wykrywane dopiero wtedy, gdy szkody są już znaczne.
Badacze nie odrzucają samej technologii. Przeciwnie. Wskazują, że AI może być niezwykle potężna, o ile testujemy ją w konkretnym, rzeczywistym zastosowaniu. - W obecnym stanie rzeczy jedynym wiarygodnym sposobem oceny, jak dobrze model AI będzie działał, jest faktyczne przetestowanie go podczas konkretnych sytuacji - podsumowuje naukowiec.
Być może więc sztuczna inteligencja nie jest tak inteligentna, jak chcielibyśmy wierzyć. A przynajmniej nie poza światem, który już wcześniej zobaczyła.
Źródło: Uniwersytet w Exeter
Publikacja: Deep learning in biology faces a transferability crisis, PLOS Biology (2026). DOI: 10.1371/journal.pbio.3003656
