Według nowego badania respondenci najwyżej ocenili historie wygenerowane przez sztuczną inteligencję, które zostały zareklamowane jako napisane przez człowieka. Nie byli także w stanie odróżnić historii ludzkich od tych stworzonych przez sztuczną inteligencję.
Nie rozróżniamy tekstów AI od ludzkich. Naukowcy sprawdzili, co czytamy z największą przyjemnością
W analizie przeprowadzonej przez naukowców z Uniwersytetu Villanova w USA udział wzięli dorośli uczestnicy w wieku od 18 do 81 lat. Ich zadaniem było sprawdzenie, czy potrafią odróżnić opowiadania napisane przez ludzi od tych generowanych przez AI. Mieli również ocenić jakość i atrakcyjność każdego z nich oraz rozpoznać treści sztucznej inteligencji.
Do badania wykorzystano trzy fikcyjne opowiadania napisane przez ludzi, które zostały opublikowane w czasopiśmie literackim, oraz trzy odpowiadające im opowiadania wygenerowane przez ChatGPT.
Do pierwszego eksperymentu zaproszono 1682 uczestników. Naukowcy poprosili ich, aby przeczytali opowiadanie, które zostało im przestawione jako napisane przez człowieka lub AI (nie zawsze było to prawda). Następnie badani ocenili jakość tekstu.
W drugim i trzecim eksperymencie uczestników było mniej, odpowiednio 424 i 481. Otrzymali oni jedną historię napisaną przez człowieka i jedną wygenerowaną przez sztuczną inteligencję, ale nie poinformowano ich o pochodzeniu tekstu. Po przeczytaniu zostali poproszeni o wskazanie autora każdej z historii.
Sztuczna inteligencja wygrywa z ludźmi w literaturze?
Wyniki pokazały, że teksty wygenerowane przez AI otrzymały wyższe oceny jakości i przyswajalności niż historie napisane przez ludzi. Były one oceniane jeszcze wyżej, gdy uczestnicy uważali, że autorem jest człowiek. W dodatku zdolność badanych do rozpoznawania treści wygenerowanych przez sztuczną inteligencję wyniosła niecałe 40 proc., czyli mniej niż wynik losowy.
Odkryto także, że uczestnicy, którzy twierdzili, iż mają większą wiedzę na temat sztucznej inteligencji, byli w stanie lepiej rozpoznać tekst napisany przez AI, natomiast ci deklarujący większą wiedzę literacką nie wykazywali takiej zdolności.
Dr Deena Weisberg, główna autorka badania, zauważyła, że znajomość systemów sztucznej inteligencji pomagała ludziom rozpoznawać wzorce typowe dla tekstów przez nią generowanych. Chodziło o myślniki i struktury zdań, które są charakterystyczne dla treści AI.
Zobacz również:
Teksty AI bardziej przystępne od ludzkich
Badanie potwierdziło wcześniejsze tezy, że ludzie wolą teksty generowane przez sztuczną inteligencję w różnych formatach, w tym opowiadania, poezję i eseje.
- Teksty tworzone przez sztuczną inteligencję są zazwyczaj bardziej przejrzyste, bezpośrednie i łatwiejsze do przyswojenia. Natomiast opowiadania pisane przez ludzi są często bardziej subtelne i złożone - wytłumaczyła autorka. - Być może ludzie na ogół wolą to, co przewidywalne, ponieważ trudne lub subtelne treści wymagają większego wysiłku umysłowego.
Badanie zostało opublikowane czasopiśmie naukowym Judgement and Decision Making.
