AI źle interpretuje wiadomości. Połowa odpowiedzi ma znaczące błędy

Nie każda implementacja sztucznej inteligencji ma lub miała dostęp do internetu. Niektóre modele nie mogą korzystać z www, podczas gdy inne (jak dawniej ChatGPT) miały nałożone blokady czasowe i były trenowane na danych jedynie sprzed określonej daty. Dziś praktycznie wszystkie wiodące czatboty mają otwarty dostęp do internetu i mogą wyszukiwać zarówno w jego ogólnodostępnych źródłach, jak i tych zamkniętych, wymagających logowania - po umożliwieniu im tego przez użytkownika za pomocą łącznika np. z Outlookiem, Gmailem, Dyskiem Google czy Kalendarzem Google, ale to już nieco inny temat.

Możemy po prostu przyjąć, że czatbot ma dostęp do najświeższych wiadomości i może je dla nas zreferować, zrobić prasówkę, podsumowanie czy porównanie. Dla wielu osób coś takiego może być nawet wygodniejsze niż oglądanie wiadomości w telewizji czy wchodzenie na stronę główną np. Interii. Problem w tym, że sztuczna inteligencja ciągle jeszcze ma duże problemy z interpretacją treści newsów. Nowe dane wykazały, że aż w 45% przypadków dochodzi do znaczących pomyłek. Tak wynika z nowego badania przeprowadzonego przez BBC i Europejską Unię Nadawców (EBU), nazywaną też Eurowizją. A to nie koniec problemów.

Organizacja przeprowadziła największe jak dotąd badanie asystentów AI w kontekście tego, jak interpretują wiadomości z internetu w swoich odpowiedziach. Prawie połowa tych odpowiedzi zawierała przynajmniej jeden błąd, ale to nie koniec problemów. Na czym polegało to badanie i z czym jeszcze nie radzą sobie popularne czatboty?

W badaniu wzięły udział 22 organizacje mediów publicznych z 18 krajów, używających 14 języków. "Profesjonalni dziennikarze z uczestniczących PSM ocenili ponad 3000 odpowiedzi od ChatGPT, Microsoft Copilota, Google Gemini i Perplexity, biorąc pod uwagę kluczowe kryteria, takie jak dokładność, pozyskiwanie informacji, odróżnianie opinii od faktów i dostarczanie kontekstu" - wyjaśnia EBU.

Nie tylko 45% spośród wszystkich odpowiedzi zawierało przynajmniej jeden znaczący błąd, co w zasadzie dyskwalifikuje AI jako godne zaufania źródło informacji. Nowe dane wykazały, że 31% odpowiedzi zawierało poważne problemy ze źródłami - brakowało przypisów, wprowadzały one w błąd lub niepoprawnie odsyłały do źródeł. Poważne problemy wystąpiły w 20% odpowiedzi. Zawierały one m.in. halucynacje i przestarzałe informacje.

Która sztuczna inteligencja sprawdziła się najgorzej? "Gemini wypadł najsłabiej, mając znaczące problemy w 76% odpowiedzi, prawie dwa razy tyle, co inni asystenci, głównie z powodu słabej jakości sourcingu" - wyjaśnia raport Europejskiej Unii Nadawców i BBC. Wyniki z tego nowego badania porównano z wcześniejszymi, pochodzącymi z badania przeprowadzonego wcześniej w tym roku przez BBC. Autorzy odnotowali jedynie "pewną poprawę" przy nadal "wysokich poziomach błędów", niezależnie od języka i lokalizacji.

Niska wiarygodność, skłonność do halucynowania szczegółów, błędy merytoryczne i trudności z sourcingiem to przypadłości czołowych narzędzi AI, które mogą prowadzić do dezinformacji na dużą skalę. Należy bowiem wziąć pod uwagę raport Reuters Institute - Digital News Report 2025 - według którego już 7% odbiorców wiadomości w internecie pozyskuje je poprzez asystentów AI, a wśród osób poniżej 25 roku życia odsetek ten wzrasta do 15%.

Można więc śmiało założyć, że każda z tych osób podczas codziennej prasówki spotka się z kilkoma nieścisłościami, przeinaczeniami czy nawet poważnymi błędami w samej tylko interpretacji wiadomości przez AI. Jeśli zatem liczymy na rzetelne informacje, a nie głuchy telefon, to lepiej czytać wiadomości u źródeł, wchodząc na strony wydawców, zamiast polegać na czatbotach. Te mogą jedynie wskazać pewne tropy, ale ich wiarygodność i tak trzeba zweryfikować samemu, nieraz tracąc więcej czasu, niż gdybyśmy od razu przeczytali coś u źródła.