Fałszywe badania medyczne? Powstaje zespół do zadań specjalnych
W czasach, gdy sztuczna inteligencja może tworzyć wiarygodnie wyglądające, lecz całkowicie fałszywe badania naukowe, a błędne wytyczne medyczne mogą kosztować życie tysięcy ludzi, nowe inicjatywy "naukowych strażników" stają się ważniejsze niż kiedykolwiek.
Fundacja Center for Scientific Integrity (organizacja stojąca za portalem Retraction Watch) ogłosiła właśnie start ambitnego dwuletniego przedsięwzięcia o nazwie Medical Evidence Project, które ma na celu wykrywanie błędnych lub sfałszowanych badań medycznych oraz nagłaśnianie ich szkodliwego wpływu na zdrowie publiczne. Projekt otrzymał finansowanie w wysokości 900 tysięcy dolarów od fundacji Open Philanthropy.
Od początku marzyliśmy, by Retraction Watch było czymś więcej niż tylko rejestrem wycofanych publikacji, chcieliśmy mieć realny wpływ na jakość nauki. Dzięki Medical Evidence Project mamy szansę wspierać krytyczną analizę badań i upowszechniać jej wyniki
Misja: prześwietlać medyczną "prawdę"
Kierownikiem projektu został James Heathers, niezależny konsultant ds. integralności badań naukowych. Zespół, liczący maksymalnie pięciu specjalistów, będzie korzystać z narzędzi metanauki sądowej, pozyskiwać informacje od anonimowych sygnalistów oraz zatrudniać recenzentów do oceny podejrzanych metaanaliz. Celem jest ujawnienie przynajmniej 10 błędnych metaanaliz rocznie.
Kiedy błędne dane kosztują życie
Wadliwe badania nie są tylko akademickim problemem i mogą wpływać na oficjalne wytyczne zdrowotne i realnie szkodzić pacjentom. W 2009 roku europejskie zalecenia sugerowały stosowanie beta-blokerów przy operacjach niezwiązanych z sercem, opierając się na badaniach z początku XXI wieku. Po latach okazało się, że te dane były wątpliwe, a niezależna analiza zasugerowała, że mogły one przyczynić się nawet do 10 tysięcy zgonów rocznie w samej Wielkiej Brytanii.
Medical Evidence Project powstaje w momencie, gdy AI generuje pseudonaukowe publikacje na niespotykaną dotąd skalę. Według badań opublikowanych przez Harvard Kennedy School, aż dwie trzecie losowo wybranych prac znalezionych w Google Scholar zawierało oznaki tekstu wygenerowanego przez modele językowe, jak ChatGPT czy GPT-4o. Co szczególnie niepokojące, niemal 15 proc. tych tekstów dotyczyło medycyny.
Problem polega na tym, że Google Scholar nie rozróżnia recenzowanych publikacji od preprintów, prac studenckich czy materiałów niskiej jakości. Tego rodzaju materiały, czyli przypadkowe, ale szkodliwe dane, często trafiają do metaanaliz, a później do decyzji klinicznych. Odtworzenie skutków takiej dezinformacji jest niezwykle trudne.
Niepokojące przypadki
To nie pierwszy raz, gdy nonsens trafia na łamy oficjalnych publikacji. W 2021 roku wydawnictwo Springer Nature wycofało ponad 40 artykułów z Arabian Journal of Geosciences, które były tak niespójne, że wyglądały jak żart złożony z losowych fraz. W 2024 roku Frontiers musiało usunąć publikację zawierającą niemożliwe anatomicznie obrazy wygenerowanych przez AI narządów płciowych szczura.
Dodatkowo, naukowcy odkryli, że duże modele językowe zaczęły powielać błędne terminy z przeszłości, traktując je jak realne hasła naukowe. W jednym przypadku fragment pokręconej pracy biologicznej z 1959 roku zaczął pojawiać się w odpowiedziach modeli AI jako "rzetelna informacja".
W tym kontekście Medical Evidence Project przypomina bardziej jednostkę ratunkową niż ekipę sprzątającą. Nie chodzi już tylko o eliminowanie pojedynczych błędów, lecz o walkę z falą fałszywych danych, które zatruwają fundamenty współczesnej medycyny.
