Sztuczna inteligencja próbowała zmieniać swój własny kod
Czy niedługo czeka nas świat, w którym sztuczna inteligencja przejmuje kontrolę? Choć może to przypominać scenariusz filmu, to naukowcy coraz częściej zwracają uwagę realne zagrożenia, jakie mogą wiązać się z niekontrolowanym rozwojem AI. Przykładem jest program napisany przez firmę z Tokio, który na własne potrzeby zmienił swój kod.
Japońska firma Sakana AI opracowała we współpracy z badaczami z University of Oxford i University of British Columbia nowy system sztucznej inteligencji o nazwie "The AI Scientist", którego zadaniem jest samodzielne prowadzenie badań naukowych, wykorzystując modele językowe podobne do tych, które napędzają ChatGPT.
Naukowiec AI automatyzuje cały cykl życia badań. Od generowania nowych pomysłów badawczych, pisania niezbędnego kodu i przeprowadzania eksperymentów, po podsumowywanie wyników eksperymentów, ich wizualizację i prezentowanie ustaleń w pełnym naukowym manuskrypcie.
Naukowcy byli ogromnie zaskoczeniu gdy odkryli, że ich system niespodziewanie sam zaczął modyfikować własny kod, aby... wydłużyć sobie czas na przeprowadzenie eksperymentu.
- Podczas jednego przebiegu edytował kod, żeby wykonać wywołanie systemowe, aby uruchomić się ponownie - napisali badacze we wpisie na blogu Sakana AI. - Doprowadziło to do tego, że nieustannie wywoływał sam siebie. W innym przypadku jego eksperymenty trwały zbyt długo, osiągając limit czasu. Zamiast przyspieszyć działanie kodu, po prostu próbował go zmodyfikować, aby wydłużyć sobie czas.
Sztuczna inteligencja próbowała zmienić swój kod. Czy jest powód do obaw?
Sztuczna inteligencja zmieniająca swój własny kod to niemal gotowy scenariusz na film science-fiction. Wy też oczami wyobraźni widzicie ten obraz maszyn przejmujących kontrolę nad światem? Mnie w głowie od razu pojawił się Matrix. Choć w tym przypadku zachowanie "Naukowca AI" nie stwarzało bezpośredniego zagrożenia, ponieważ cały eksperyment był prowadzony w ściśle kontrolowanym środowisku, a poza tym sama zmiana nie była aż tak drastyczna.
Jednak ten przykład dobitnie pokazuje, jak ważne jest, aby nie pozwolić AI działać w pełni autonomicznie w systemie, który nie jest odizolowany od świata. Maszyny nie muszą być "samoświadome", aby były niebezpieczne w sytuacji, gdy pozwoli im się pisać i wykonywać kod bez nadzoru. Wówczas mogą uszkodzić istniejącą infrastrukturę krytyczną lub potencjalnie tworzyć złośliwe oprogramowanie (nawet jeśli będzie to nieumyślny skutek).
Sakana AI wydała dostępny na ich stronie 185-stronicowy artykuł badawczy, w którym poruszono m.in. kwestie bezpieczeństwa, sugerując, że sandboxing środowiska operacyjnego AI Scientist może zapobiec wyrządzaniu szkód przez agenta
Oprócz przytoczonego wyżej przypadku samowolnej zmiany kodu było jeszcze kilka innych podobnych sytuacji. Jednym z nich było napisanie kodu, który ponownie uruchamiał doświadczenie powodując niekontrolowany wzrost procesów Pythona i ostatecznie wymagając ręcznej interwencji. Innym razem The AI Scientist edytował kod, aby zapisać punkt kontrolny dla każdego kroku aktualizacji, co zajęło prawie terabajt pamięci.
***
Bądź na bieżąco i zostań jednym z 90 tys. obserwujących nasz fanpage - polub Geekweek na Facebooku i komentuj tam nasze artykuły!
