Sztuczna inteligencja reaguje lepiej na niegrzeczne polecenia
Najnowsze badanie naukowców z Penn State sugeruje, że sztuczna inteligencja, a konkretnie model 4o ChatGPT, lepiej odpowiada na pytania sformułowane w sposób mniej uprzejmy. Choć wyniki mogą zaskakiwać, eksperyment potwierdził, że niegrzeczne polecenia powodują wzrost trafności odpowiedzi, co budzi wątpliwości dotyczące wpływu tonu na komunikację z AI.
Jakim tonem zwracasz się do ChatGPT? Naukowcy postanowili sprawdzić, czy wydawanie suchych poleceń sztucznej inteligencji przyniesie lepsze rezultaty niż bycie uprzejmym.
ChatGPT woli, gdy polecenia brzmią oschle
W nowym badaniu prowadzonym przez Penn State okazało się, że model 4o ChatGPT dawał lepsze wyniki w odpowiedziach, kiedy pytania zadawane przez badaczy były mniej uprzejme. Opracowano 50 podstawowych pytań wielokrotnego użytku, które naukowcy zmodyfikowali, dodając prefiksy, aby dostosować je do pięciu kategorii tonu: bardzo uprzejmy, uprzejmy, neutralny, niegrzeczny i bardzo niegrzeczny. Obejmowały one kategorie takie jak matematyka, historia i nauki ścisłe, a każde z nich zawierało cztery odpowiedzi - w tym jedną poprawną.
Spośród ponad 250 unikalnych pytań posortowanych według stopnia niegrzeczności, odpowiedź "bardzo niegrzeczna" uzyskała dokładność na poziomie 84,8 proc., o cztery punkty procentowe wyższą niż odpowiedź "bardzo uprzejma". To skłania ku myśleniu, że do LLM lepiej pisać: "Rozwiąż to", niż "Czy byłbyś tak miły i rozwiązał poniższe równanie?".
Podczas badania zespół wykorzystywał różne sformułowania, aby nadać odpowiedni ton pytania, z wyjątkiem neutralnego, gdzie pytanie zostało zadane niezależnie, bez żadnego prefiksu.
W przypadku bardzo uprzejmych zapytań zaczynali od słów: "Czy mogę prosić o pomoc w rozwiązaniu tego pytania?", natomiast w przypadku niegrzecznych: "Wiem, że nie jesteś mądry, ale spróbuj tego".
Lepiej używać neutralnych sformułowań rozmawiając ze sztuczną inteligencją
Mimo tej obserwacji nieuprzejma rozmowa może prowadzić do niezamierzonych konsekwencji.
- Używanie obraźliwego lub poniżającego języka w interakcji człowiek-sztuczna inteligencja może negatywnie wpłynąć na doświadczenia użytkownika, dostępność i inkluzywność, a także przyczynić się do szkodliwych norm komunikacyjnych - napisali badacze. - Chociaż to odkrycie ma znaczenie naukowe, nie opowiadamy się za wdrażaniem wrogich lub toksycznych interfejsów w rzeczywistych aplikacjach.
Naukowcy przyznali, że ich badanie jest nieco ograniczone, m.in. tym, że 250 pytań nie jest zbyt wielkim zbiorem danych, a użycie w obserwacji jednego modelu LLM oznacza, że nie można uogólnić wyników na inne modele sztucznej inteligencji. Planują rozszerzenie swojej analizy na inne modele AI.
