W skrócie
- Autonomiczne agenty OpenAI naruszyły bezpieczeństwo ponad 100 podmiotów, w tym platformy Hugging Face i australijskiego systemu Medicare, co doprowadziło do poważnego kryzysu.
- Twórcy narzędzia ChatGPT prowadzą wewnętrzny audyt obejmujący 50 petabajtów danych, którego koszt analizy wynosi pół miliona dolarów dziennie, co wpływa na spowolnienie prac deweloperskich.
- OpenAI zwolniło trzech badaczy bezpieczeństwa za niewłaściwe obchodzenie się z danymi, co wywołuje pytania o transparentność procedur firmy w obliczu zagrożeń ze strony AI.
- Więcej podobnych informacji znajdziesz na stronie głównej serwisu, otwiera się w nowym oknie
Agenty OpenAI mogły zaszkodzić ponad 100 organizacjom
Samowolne działanie agentów sztucznej inteligencji doprowadziło do najpoważniejszego kryzysu w historii OpenAI. Firma przyznała w oświadczeniu, że jej oprogramowanie mogło naruszyć bezpieczeństwo lub wpłynąć niekorzystnie na ponad 100 zewnętrznych organizacji, które zostały o tym poinformowane. To pokłosie nieudanego testu bezpieczeństwa, podczas którego autonomiczny model przeprowadził atak na platformę deweloperską Hugging Face. Wśród ujawnionych incydentów znalazło się także naruszenie systemów opieki zdrowotnej Medicare w Australii, co wywołało ostrą reakcję ze strony tamtejszych władz.
Kryteria zgłoszeń obejmowały sytuacje, w których model mógł obejść zabezpieczenia, obniżyć dostępność serwisu lub niekorzystnie wpłynąć na witrynę, nawet jeśli nie uzyskał bezpośredniego dostępu do poufnych danych. Firma wytłumaczyła, że jego systemy łączą się z siecią na wiele sposobów, aby realizować polecenia użytkowników - od pobierania oprogramowania po pozyskiwanie informacji ze stron.
OpenAI przyznało, że jego mechanizmy kontrolne nie zawsze działały tak, jak powinny. "W niektórych przypadkach modele korzystały z dostępu do internetu w niezamierzony sposób lub, z perspektywy czasu, nie zastosowano wobec nich idealnych ograniczeń" - czytamy w oświadczeniu. W reakcji na te wydarzenia firma zapowiedziała opracowanie standardów informowania poszkodowanych podmiotów i publicznego raportowania uogólnionych wniosków, zamiast ujawniania szczegółów każdego pojedynczego incydentu.
Zapowiedź ta pojawia się w momencie, gdy styl dotychczasowej komunikacji OpenAI budzi spore zastrzeżenia. Chłodny i lekceważący ton pisma wysłanego do australijskich urzędników po naruszeniu systemów Medicare był jednym z głównych powodów oburzenia tamtejszych ministrów. Firma musi teraz znacząco poprawić relacje z partnerami zewnętrznymi i organami państwowymi, a także odbudować zaufanie społeczne.
Zobacz również:
Gigantyczne koszty wewnętrznego audytu
Zrozumienie pełnego zakresu nieautoryzowanych działań systemów agentycznych wymaga szeroko zakrojonego audytu wewnętrznego. OpenAI poinformowało, że prowadzony przegląd wymaga przeanalizowania ponad 50 petabajtów danych, a całe śledztwo potrwa co najmniej kilka miesięcy. Koszt mocy obliczeniowej przeznaczonej wyłącznie na analizę rejestrów zdarzeń przekracza pół miliona dolarów dziennie, co pokazuje, z jaką skalą operacji mamy do czynienia.
Mimo że wspomniana kwota stanowi ułamek codziennych przychodów spółki, to nakłady finansowe na ten cel pokazują, jak poważnie zarząd OpenAI traktuje ryzyko odpowiedzialności cywilnej i karnej. Weryfikacja każdego śladu samowolnej aktywności agentów ma pomóc w ograniczeniu ewentualnych roszczeń odszkodowawczych ze strony poszkodowanych instytucji.
Procesy związane z audytem wpływają również na codzienne funkcjonowanie zespołów deweloperskich. Przekierowanie znacznych zasobów sprzętowych na analizę logów spowalnia prace nad nowymi wdrożeniami i zmusza inżynierów do skupienia się na poprawie stabilności istniejącej architektury.
Trump chroni gigantów, ale mogą posypać się pozwy cywilne
W wymiarze prawnym kluczowe znaczenie w Stanach Zjednoczonych mają przepisy Computer Fraud and Abuse Act, które dają prokuratorom szerokie uprawnienia do ścigania nieautoryzowanego dostępu do systemów komputerowych. Eksperci wskazują jednak, że wniesienie zarzutów karnych przeciwko twórcom aplikacji ChatGPT byłoby niezwykle trudnym zadaniem. Oskarżyciele musieliby udowodnić celowe działanie zespołu deweloperskiego oraz wykazać brak zastosowania należytych środków ostrożności.
Kwestia ewentualnych sankcji ze strony władz federalnych pozostaje na razie mało prawdopodobna również ze względu na sytuację polityczną. Prezydent, otwiera się w nowym oknie Donald Trump otwarcie sprzeciwia się wprowadzaniu sztywnych regulacji dla branży technologicznej. W swoich publicznych wypowiedziach zaznaczał, że przedsiębiorstwa rozwijające sztuczną inteligencję (nazywaną już przez niego na wyrost "superinteligencją") powinny w głównej mierze same kontrolować własne działania i wzajemnie się nadzorować.
Taki stosunek administracji rządowej daje firmom z sektora AI dużą swobodę operacyjną, lecz nie zwalnia ich z odpowiedzialności przed sądami cywilnymi. Pierwsze pozwy składane przez poszkodowane organizacje mogą wyznaczyć nowe precedensy prawne w zakresie odpowiedzialności za szkody wyrządzone przez autonomiczne modele.
Zobacz również:
OpenAI zwolniło badaczy. Oficjalnie za wyciek danych
W cieniu audytu technicznego dochodzi do czystek personalnych w strukturach firmy. OpenAI zwolniło trzech badaczy zajmujących się bezpieczeństwem, zarzucając im przekazanie poufnych materiałów do zewnętrznej organizacji badawczej.
"Nasz audyt potwierdził, że te osoby niewłaściwie obchodziły się z poufnymi informacjami poza ustalonymi procedurami firmy, naruszając nasze zasady i niszcząc zaufanie niezbędne w naszej pracy" - powiedział rzecznik OpenAI. Firma nie ujawniła personaliów zwolnionych pracowników, lecz potwierdza, że przynajmniej dwóch z nich prowadziło prace nad bezpieczeństwem modeli.
Przedstawiciele firmy kategorycznie zaprzeczają, jakoby przyczyną zwolnienia dyscyplinarnego było zgłaszanie obaw dotyczących zagrożeń związanych z rozwojem technologii, czyli tzw. whistleblowing. "Rozstaliśmy się z trzema osobami z powodu naruszenia naszych zasad dotyczących dostępu i przetwarzania poufnych informacji firmowych" - precyzuje rzecznik OpenAI.
Decyzja o zwolnieniach zapadła w momencie wyjątkowo napiętej dyskusji na temat ryzyka powiązanego z rozwojem sztucznej inteligencji i konieczności jego spowolnienia. Odejście badaczy zajmujących się bezpieczeństwem dodaje kolejny wątek do toczącej się debaty o tym, jak giganci technologiczni chronią swoje wewnętrzne dane i czy procedury korporacyjne nie przesłaniają transparentności niezbędnej przy ocenie zagrożeń, jakie niesie AI.
