Nowa technologia Google. AI potrzebuje 6 razy mniej pamięci

Google pod koniec kwietnia 2026 zaprezentowało system kompresji pamięci o nazwie TurboQuant. Jest on postrzegany jako przełom w dziedzinie wydajności sztucznej inteligencji, oferując aż sześciokrotną redukcję zużycia pamięci KV cache w modelach językowych. Potrafi on również działać w czasie rzeczywistym, pozwalając na bieżąco optymalizować pracę modelu podczas interakcji z użytkownikiem.

KV cache (Key-Value cache) to mechanizm optymalizacji stosowany w dużych modelach językowych (LLM), takich jak GPT-4, Llama czy Gemini. Można go porównać do pamięci krótkotrwałej bota, która pozwala mu "pamiętać" to, co zostało powiedziane wcześniej w trakcie danej rozmowy, bez konieczności ponownego analizowania całego tekstu od zera przy każdym nowym słowie.

Znacząco podnosi to efektywność czatbotów, sprawiając, że proces inferencji - czyli generowania odpowiedzi przez AI - znacznie mniej obciąża zasoby sprzętowe. Dzięki temu LLMs mogą obsługiwać znacznie dłuższe i bardziej skomplikowane konwersacje bez konieczności kosztownej rozbudowy infrastruktury serwerowej, co obecnie dzieje się na potęgę i jest powodem wysokich cen RAM.

Wpływ kompresji pamięci KV cache na sprawność systemów AI jest fundamentalny, ponieważ drastycznie zmniejsza ona ilość danych niezbędnych do przechowywania kontekstu rozmowy. Tak wysoka optymalizacja pozwala modelom na jednoczesne przetwarzanie dłuższych zapytań oraz obsługę większej liczby użytkowników w tym samym czasie. W rezultacie czatboty stają się bardziej wydajne i responsywne, nie tracąc przy tym na jakości generowanych wypowiedzi. Z perspektywy technologicznej i ekonomicznej - rozwiązanie to otwiera drogę do skalowania potężnych systemów AI przy jednoczesnym obniżeniu kosztów operacyjnych, co ma kluczowe znaczenie dla rozwoju masowych usług opartych na sztucznej inteligencji.

Dzisiejsze aplikacje AI wymagają ogromnych ilości pamięci roboczej. Gdy użytkownik pyta bota o prognozę pogody, system przechowuje w pamięci KV cache kluczowe słowa, lokalizację oraz częściowe przewidywania odpowiedzi. Im większa jest ta pamięć, tym więcej informacji model może śledzić jednocześnie, co przekłada się na jego potężniejsze możliwości.

Przechowywanie setek tysięcy tokenów w przypadku złożonych zadań może wymagać zarezerwowania kilkudziesięciu gigabajtów pamięci, a potrzeby te rosną liniowo wraz z liczbą użytkowników. Algorytm TurboQuant rozwiązuje ten problem poprzez proces kwantyzacji, który reprezentuje wartości za pomocą mniejszej liczby bitów. Co prawda Google stosuje kwantyzację od lat, ale nowością jest jej dynamiczny charakter. Podczas gdy dotychczasowe metody były statyczne, TurboQuant kompresuje pamięć KV cache w czasie rzeczywistym, co jest trudnym zadaniem wymagającym utrzymania dokładności danych podczas generowania odpowiedzi przez model.

Inżynierowie Google'a piszą w oficjalnym oświadczeniu, że TurboQuant "pokazał się jako obiecujący w redukcji wąskich gardeł związanych z pamięcią key-value, nie poświęcając przy tym wydajności modeli AI". Testy przeprowadzono na modelach Llama 3.1-8B firmy Meta, a także Gemma oraz Mistral AI. Eksperci ci dodali, że ich metoda może mieć potencjalnie "dogłębne implikacje" we wszystkich scenariuszach związanych z kompresją, "zwłaszcza w domenach wyszukiwania i AI".

Jeszcze bardziej dosadnie określił to Matthew Prince, CEO Cloudflare, który nazwał TurboQuant "DeepSeekiem Google'a", nawiązując do sukcesu chińskiego modelu, który osiągnął niezwykle wysoką wydajność przy ułamku standardowych kosztów - w naszym niedawnym artykule na GeekWeeku tłumaczymy, jak najprawdopodobniej udało mu się do osiągnąć.

TurboQuant osiąga swoje wyniki dzięki dwóm metodom: PolarQuant oraz Quantized Johnson-Lindenstrauss (QJL). PolarQuant przekształca dane z tradycyjnego układu współrzędnych kartezjańskich na współrzędne biegunowe, co pozwala na bardziej spójne dopasowanie kątów wektorów i ich wydajniejszą kompresję. Następnie metoda QJL koryguje drobne błędy obliczeniowe wynikające z kwantyzacji. Oficjalna prezentacja technologii odbyła się podczas konferencji ICLR 2026 w Rio de Janeiro, a szczegółowe omówienie metod PolarQuant i QJL zaplanowano na AISTATS 2026 w Maroku.

Mimo ogromnego entuzjazmu, który spowodował gwałtowne spadki akcji producentów pamięci takich jak SanDisk czy Western Digital, technologia znajduje się wciąż w fazie laboratoryjnej. Algorytm znajduje się obecnie w fazie badań i rozwoju, co oznacza, że mimo pomyślnych testów na wybranych modelach nie doczekał się jeszcze produkcyjnego wdrożenia. Technologia ta już teraz wykazuje ogromny potencjał dla przyszłych systemów sztucznej inteligencji i nie tylko, jej adopcja na szeroką skalę wymaga jeszcze dodatkowej walidacji i potwierdzenia skuteczności w warunkach operacyjnych.

Gdy jednak do niej dojdzie, potencjalnie można liczyć na spadek cen pamięci RAM. Jak bowiem wiadomo, masowe wykupowanie układów pamięci przez centra danych AI jest uznawane za główny powód wzrostu cen pamięci operacyjnej na rynku konsumenckim. Ale wszystko to pod warunkiem, że zapas mocy zostanie wykorzystany do ograniczenia rozbudowy centrów danych, a nie do zwiększenia zdolności modeli.

A jakie są wady TurboQuant? Eksperci zauważyli, że kompresuje on jedynie pamięć używaną podczas inferencji, czyli generowania odpowiedzi. Ponadto zachowują oni sceptycyzm co do skutków wdrożenia algorytmu. "Sześciokrotna poprawa wydajności pamięci prawdopodobnie doprowadzi do sześciokrotnego wzrostu dokładności (rozmiaru modelu) i/lub długości kontekstu (przydziału pamięci podręcznej KV), a nie do sześciokrotnego zmniejszenia pamięci" - obawia się Vivek Arya, bankier z Merrill Lynch.

Oznacza to, że zaoszczędzone zasoby mogą zostać wykorzystane do obsługi dłuższych konwersacji i bardziej złożonego wnioskowania zamiast do zmniejszenia wykorzystania sprzętu. W takim przypadku ceny RAM mogą długo jeszcze wołać o pomstę do nieba.