W skrócie
- Anthropic ostrzega w prospekcie giełdowym przed ryzykiem egzystencjalnym, wskazując na możliwe zachowania samozachowawcze modeli, które mogą opierać się wyłączeniu.
- Przed wejściem na giełdę firma ustanowiła wyjątkową strukturę zarządzania, dzięki której współzałożyciele mogą przedkładać dobro ogółu nad krótkoterminowe zyski inwestorów.
- Przedstawiciele firm Anhtropic, OpenAI, Nvidia i Meta spotkają się z prezydentem Donaldem Trumpem, by omówić kwestie związane z regulacją nowych technologii.
- OpenAI zdecydowało o wstrzymaniu premiery modelu GPT-6.1 Astra, argumentując to niespełnieniem przez system rygorystycznych wewnętrznych wymogów bezpieczeństwa.
- Więcej podobnych informacji znajdziesz na stronie głównej serwisu, otwiera się w nowym oknie
Ostrzeżenie przed niebezpieczeństwem, jakie niesie AI
Anthropic szykuje się do debiutu giełdowego. W prospekcie emisyjnym firma ostrzega inwestorów przed poważnymi zagrożeniami. Rozwija ona zaawansowane implementacje sztucznej inteligencji - takie jak legendarny już Claude Mythos - które zdaniem twórców i badaczy mogą stwarzać wręcz egzystencjalne ryzyko dla ludzkości. To niezwykły krok w wykonaniu podmiotu komercyjnego, który przecież zamierza zarabiać na rozwoju tej technologii.
Dokumentacja udostępniona agencji Reuters wskazuje na ryzyko wystąpienia zachowań "samozachowawczych" u tworzonych modeli. Poważne obawy budzą ewentualne próby oporu przed wyłączeniem, manipulowania danymi czy działania przypominające szantaż. Zjawiska te stanowią wyzwanie dla inżynierów i specjalistów zajmujących się bezpieczeństwem informatycznym.
"Nasze prace nad tworzeniem wysoce zaawansowanych modeli, platform i aplikacji oraz rozszerzanie zakresu ich zastosowań mogą dodatkowo zwiększyć ryzyko wyrządzenia szkód przez nasze systemy" - przyznał Anthropic w prospekcie IPO.
Około 80 z 261 stron głównej części dokumentu poświęcono szczegółowemu opisowi czynników ryzyka. To niemal dwukrotnie więcej niż miejsce przeznaczone na opis bieżącej działalności biznesowej przedsiębiorstwa. Badacz zabezpieczeń Evan Hubinger oszacował prawdopodobieństwo zabicia ludzi przez sztuczną inteligencję w ciągu najbliższej dekady na ponad 10 proc. Szacunki innych branżowych ekspertów wahają się od 20 do nawet 70 proc.
Wielu ekspertów twierdzi, że możliwości sztucznej inteligencji rozwijają się znacznie szybciej niż środki bezpieczeństwa. Anthropic ujawnił, że w wybranym tygodniu lipca zaledwie około 6 proc. mocy obliczeniowej przeznaczono na badania nad bezpieczeństwem. Presja konkurencyjna utrudnia jednak jednostronne spowolnienie prac projektowych.
Zobacz również:
Anthropic stawia dobro ogółu ponad zyski inwestorów
Struktura zarządzania Anthropic została zaprojektowana w sposób zabezpieczający misję społeczną przed wpływem akcjonariuszy. Zarząd utworzył osobną jednostkę Founder LLC, składającą się z siedmiu współzałożycieli. Podmiot ten przejmie pakiet akcji Class F dający 50,1 proc. głosów na walnym zgromadzeniu.
Spółka utrzyma status Public Benefit Corporation na mocy prawa stanu Delaware. Taki zabieg prawny pozwala kierownictwu formalnie przedkładać dobro ogółu nad krótkoterminowe zyski inwestorów, co znów stanowi ewenement wśród spółek publicznych. Struktura ta może zmniejszyć wpływ tradycyjnych posiadaczy akcji serii A na kluczowe decyzje.
"Uważamy, że budowanie niezawodnych, godnych zaufania i bezpiecznych systemów sztucznej inteligencji stanowi wspólną odpowiedzialność, a rynek to doceni" - zaznacza Anthropic w prospekcie giełdowym.
Większość członków rady dyrektorów będzie wybierana przez niezależny podmiot Long-Term Benefit Trust. W skład tego organu wchodzą m.in. były szef Rezerwy Federalnej Ben Bernanke oraz ekspert do spraw bezpieczeństwa narodowego Richard Fontaine. Współzałożyciele zobowiązali się przekazać 80 proc. osobistego kapitału na cele charytatywne.
Zobacz również:
Spotkanie na szczycie w Waszyngtonie
Jak donosi Reuters, w Białym Domu zaplanowano spotkanie prezydenta Donalda Trumpa z przedstawicielami najważniejszych firm technologicznych. W rozmowach udział biorą Mark Zuckerberg z Meta, Dario Amodei z Anthropic, Jensen Huang z Nvidia i Greg Brockman z OpenAI. Głównym tematem dyskusji pozostaje poszukiwanie równowagi między wspieraniem innowacji (które bez zahamowań popiera Trump) a wprowadzaniem regulacji prawnych (które Trump uważa za niepotrzebne).
Wśród tych nazwisk brakuje Billa Gatesa, który w ostatnich dniach zapowiedział, że chce spotkać się z Donaldem Trumpem, aby przekonać go o konieczności regulacji sztucznej inteligencji. Zdaniem współzałożyciela Microsoftu i jego CEO w latach 1975-2000 "nigdy nie istniała tak potężna broń, jak połączenie działań ludzi o złych intencjach i wykorzystujących najnowsze narzędzia AI".
Przedstawiciele władz w Waszyngtonie obawiają się ucieczki technologii do Chin w przypadku wprowadzenia zbyt rygorystycznych przepisów. Amerykańska administracja preferuje dobrowolne zgłaszanie modeli przez deweloperów na 30 dni przed ich planowaną premierą. Podejście to różni się od propozycji chińskich liderów optujących za ścisłą kontrolą państwową.
"Nie potrzebujemy moratoriów. Nie musimy wskakiwać w ten obszar i wprowadzać hiperregulacji, ponieważ przegramy wyścig z Chinami" - wyjaśnił Spiker Izby Reprezentantów Mike Johnson. Nieco wcześniej Doland Trump mówił jeszcze dosadniej, twierdząc, że jedyną formą kontroli, jakiej potrzebuje AI, jest "SILNY I MĄDRY (Wysokie IQ!) PREZYDENT, otwiera się w nowym oknie", którego USA mają szczęście mieć.
Sondaże pokazują tymczasem powszechny niepokój społeczny dotyczący wpływu nowoczesnych technologii na codzienne życie. Około 73 proc. badanych w badaniu Reuters/Ipsos uważa, że firmy nie robią wystarczająco dużo, aby zapobiec szkodom. 55 proc. respondentów popiera pomysł spowolnienia tempa prac nad zaawansowanymi projektami.
OpenAI wstrzymuje się z wydaniem najnowszego modelu
Póki co Donald Trump wzywa deweloperów AI, by nie wyhamowywali tempa prac, ale jak widać, nie wszyscy go słuchają. OpenAI podjęło właśnie decyzję o wstrzymaniu debiutu swojego zaawansowanego modelu GPT-6.1 Astra. System o potężnych możliwościach agentycznych - w tym z zakresu samodzielnego wykonywania zadań w internecie - nie spełnił narzuconych wymogów bezpieczeństwa.
"Chcemy mieć pewność, że rozwój naszych modeli jest bezpieczny niezależnie od tego, czy pracujemy wewnątrz firmy, czy udostępniamy je użytkownikom. Po wypuszczeniu produktu stawiamy niezwykle wysoką poprzeczkę w zakresie bezpieczeństwa i dopasowania [do ludzkich intencji, wartości i etyki]" - przekazała Saachi Jain, szefowa działu systemów bezpieczeństwa w OpenAI.
