ChatGPT niedługo zostanie twoim lekarzem? AI już zdaje testy medyczne
Wydaje się, że wobec tego, co prezentuje ChatGPT powinniśmy zacząć pytać, czego ta sztuczna inteligencja nie potrafi. Z tej coraz mniejszej listy wykreślić należy już możliwość zostania lekarzem. ChatGPT bez przygotowania jest bowiem w stanie poradzić sobie z jednym z najtrudniejszych testów medycznych w USA.
Wyobraź sobie, że jesteś młodym i ambitnym adeptem szkoły medycznej, który stoi przed ważnym egzaminem weryfikacyjnym. Przez ostatnie kilka miesięcy jedyne co było w twojej głowie to kucie do tego, aby zdać. Na egzaminie jest trudno, ale liczysz, że się udało. I gdy przychodzi sądny dzień wyników, wykładowca tylko mówi "niezaliczone, sztuczna inteligencja okazała się lepsza i to ona będzie lekarzem".
Mimo że taka sytuacja nawet dziś brzmi zaskakująco, badacze prywatnej firmy Ansible Health pokazali, że nie jest ona niemożliwa. Postanowili oni sprawdzić, jak popularny ChatGPT poradziłby sobie bez żadnego przygotowania na jednym z najważniejszych testów dla aspirujących lekarzy Stanów Zjednoczonych - USMLE.
Badacze przeprowadzili testy w grudniu 2022 roku. ChatGPT miał odpowiedzieć na łącznie 350 pytań z każdego z trzech stopni egzaminu, który przeprowadzono w czerwcu. Zapewnili przy tym, żeby AI nie miało dostępu do bazy danych zawierającej odpowiedzi do pytań. Dzięki temu ChatGPT podszedł do egzaminów kompletnie nieprzygotowany.
Coś co dla zwykłego studenta okazałoby się katastrofalnym pomysłem, dla AI nie było takie trudne. Podczas kilku podejść wyniki ChatGPT średnio ze wszystkich trzech egzaminów wynosiły ponad 50%, zbliżając się nawet do 60%. Ogólne wyniki z ostatnich lat wskazują, że aby zdać USMLE potrzeba właśnie około 60%. Według badaczy pokazuje to, że ChatGPT jest w stanie bez przygotowania zdać najważniejszy egzamin medyczny USA.
ChatGPT osiągnął lub zbliżał się do progu zaliczenia wszystkich trzech egzaminów bez żadnego specjalistycznego szkolenia lub wzmocnienia. [...] W związku z tym ChatGPT mieści się obecnie komfortowo w zakresie wartości granicznych [do zdania egzaminu]
ChatGPT jako doktor czy niemoralny pomocnik?
Wyniki badań po raz kolejny wskazują, że sztuczna inteligencja od OpenAI jest w stanie dokonywać wręcz rzeczy niemożliwych (ten, kto próbował zdać sesję bez nauki wie, o czym mówię). Sugerują, że AI może okazać się sprzymierzeńcem w nauczaniu medycyny.
[Według badań] AI ma częściową zdolność do nauczania medycyny poprzez wyłanianie nowych i nieoczywistych koncepcji, które mogą nie znajdować się w sferze świadomości uczących się
Ich słowa potwierdza środowisko naukowe, które wobec badań odczuwają zarówno zaintrygowanie, jak i przerażenie. Zauważają, że nawet jeśli ChatGPT nie był w stanie zdać przy wszystkich próbach i udawało mu się to marginalnie, to jest to niezwykłe osiągnięcie. Podkreślają jednak, że badania mają zbyt dużo ograniczeń, aby potwierdzić, że AI ma wiedzę porównywalną do człowieka w kwestii medycyny.
Chociaż wyniki mogą być bardzo interesujące, badanie ma ważne ograniczenia, które wymagają ostrożności w podejściu do ich oceny. [...] będziemy musieli poczekać i zobaczyć, jakie wyniki zostaną uzyskane, gdy ChatGPT zostanie zastosowany do większej liczby pytań i z kolei będzie trenowany z większą ilością danych i bardziej specjalistycznych treści. Ponadto, wyniki testu ChatGPT były oceniane przez dwóch lekarzy. Należy więc poczekać na dalsze badania z większą liczbą wykwalifikowanych oceniających, aby móc zatwierdzić wyniki
Przynajmniej na razie więc lekarze nie mają co się bać o wyrzucenie z miejsca pracy przez sztuczną inteligencję. Zamiast tego boją się jednak, że AI może pomóc studentom medycyny w oszustwach. Sprawia to, że wykładowcy szkół medycznych zaczynają odchodzić od testów zdalnych, wprowadzonych w czasie pandemii.
Tak więc na sytuację gdzie to ChatGPT będzie nas przyjmował w gabinecie lekarza rodzinnego, trzeba jeszcze poczekać, to może się okazać, że niedługo studenci medycyny dostaną dyplomy dzięki pomocy AI.
