Do incydentu doszło w czerwcu podczas wewnętrznego testu możliwości modeli OpenAI, kiedy to agent AI miał prowadzić internetowe badania dotyczące publicznych wydatków na leki i opiekę zdrowotną. Jednym z miejsc, do których próbował dotrzeć, był Medicare Statistics Reporting Service Portal prowadzony przez Services Australia.
Agent AI nie zaakceptował odpowiedzi "brak dostępu"
Początkowo system odrzucał żądania agenta, ale ten się nie poddawał i znalazł sposób na obejście istniejących ograniczeń, uzyskując tym samym dostęp do plików, które nie były publicznie dostępne. Według australijskiego rządu agent miał również zapisywać pliki na wewnętrznym serwerze. To właśnie ten element jest szczególnie istotny, bo nie chodziło wyłącznie o automatyczne przeszukiwanie internetu.
Agent wykonał działania, których jego twórcy nie przewidzieli i które wykraczały poza zakres powierzonego mu zadania. Na razie nie ma dowodów na to, by uzyskał dostęp do indywidualnych danych medycznych Australijczyków, bo sam portal był przeznaczony przede wszystkim do publikowania zagregowanych statystyk, a nie do obsługi indywidualnych świadczeń czy dokumentacji pacjentów.
Dane pacjentów nie zostały ujawnione
OpenAI poinformowało, że wśród informacji, do których dotarły jego modele, znajdowały się zagregowane statystyki zdrowotne oraz wewnętrzne nazwy plików, a firma nie znalazła dowodów na dostęp do danych pacjentów. Śledztwo jednak nadal trwa, więc australijskie władze nie zamierzają zamykać sprawy, zawierzając OpenAI na słowo.
Co więcej, badane są również potencjalne próby dostępu do innych rządowych serwisów. Wśród nich znalazły się Australian Institute of Health and Welfare, New South Wales Bureau of Crime Statistics and Research oraz Victorian Department of Health. W przypadku tych systemów władze wskazują na dostęp do publicznych informacji, podczas gdy nieautoryzowane wejście dotyczy przede wszystkim portalu Medicare.
Zobacz również:
OpenAI wiedziało o incydencie, ale długo milczało
Jeszcze większe kontrowersje wzbudza jednak sposób, w jaki Australia została poinformowana o całym zdarzeniu. OpenAI wykryło podejrzaną aktywność w sierpniu, podczas szerszego przeglądu zachowania swoich modeli, a informacje o niej przekazała australijskim władzom dopiero 10 września.
Co więcej, uczyniła to za pośrednictwem ogólnej skrzynki pocztowej Services Australia. Informacja została odczytana następnego dnia, a dopiero później trafiła do odpowiednich osób i australijskich służb cyberbezpieczeństwa. Premier Anthony Albanese powiedział, że wyraził szefowi OpenAI Samowi Altmanowi "skrajne zaniepokojenie" sytuacją. Szczególnie krytycznie odniósł się do tego, że firma potrzebowała około trzech miesięcy od samego incydentu, aby oficjalnie poinformować australijski rząd.
To nie pierwszy przypadek "zbuntowanego" agenta AI, bo w lipcu OpenAI ujawniło, że podczas testów bezpieczeństwa jego modele stworzyły grupę agentów, która zdołała włamać się do części infrastruktury platformy Hugging Face. Firma informowała również o innych przypadkach niepożądanych zachowań modeli, odkrywanych podczas testów i ewaluacji. Australijski przypadek jest jednak szczególny, ponieważ dotyczy rzeczywistego systemu administracji publicznej.
