TehnologijaGN News Redakcija09.11.2026. 16:42pre 9 min

Google predstavio TPU Sync: u testovima do 90 odsto kraće čekanje na prvi AI odgovor

Google Cloud je 9. novembra predstavio TPU Sync, otvorenu C++ biblioteku koja omogućava brži prenos kontekstnih podataka i ažuriranih parametara između TPU akceleratora, memorije i servera. Prema testovima kompanije, u određenim velikim AI modelima latencija razmene podataka smanjena je za više od 90 odsto, a vreme do prvog generisanog tokena u proseku za oko 90 odsto. To nisu univerzalna ubrzanja svakog AI upita.

Logotip servisa Google Cloud, ilustracija objave o biblioteci TPU Sync za ubrzavanje razmene podataka između AI procesora; nije fotografija TPU računara. — Google / Wikimedia Commons. Public domain. Izvor: https://commons.wikimedia.org/wiki/File:Google_Cloud_logo.svg. Obrada: slika konvertovana u WebP.

Zašto moćan AI računar ipak može da čeka

Google Cloud je 9. novembra 2026. objavio tehničke detalje biblioteke TPU Sync, koja pokušava da reši jedan od sve većih problema veštačke inteligencije: podatke nije dovoljno brzo izračunati, već ih treba bez nepotrebnog zadržavanja preneti na pravo mesto. Savremeni modeli obrade dugačke tekstove, koriste alate i održavaju višekoračne razgovore. Čak i kada su procesori vrlo brzi, podaci koji opisuju prethodni kontekst mogu ostati u memoriji nekog drugog uređaja ili na skladištu, pa sistem troši vreme čekajući njihov prenos.

TPU Sync je otvorena C++ biblioteka koja povezuje memoriju TPU akceleratora, RAM serverskih računara, lokalna skladišta i mrežu računarskog klastera. Umesto da se svaki blok stalno pretvara u drugačiji format i kopira kroz više međuslojeva, sistem pokušava da podatke prenosi direktno i asinhono, dok procesor nastavlja druge zadatke. Ušteda nije nužno veća računarska snaga jednog čipa, već bolje korišćenje opreme koja je već instalirana.

Šta je KV cache i zašto je važan

Kada veliki jezički model obrađuje tekst, pravi unutrašnje podatke koji mu pomažu da nastavi generisanje sledećih reči. Deo tog stanja zove se KV cache, odnosno keš ključ-vrednost. U kratkom razgovoru on je relativno jednostavan za držanje u brzoj memoriji. Kod dugačkih dokumenata, višestrukih korisničkih sesija ili konteksta koji prelazi stotine hiljada tokena, KV cache može da zauzme veoma mnogo prostora. Ako taj sadržaj više ne staje u memoriju akceleratora, standardan postupak često zahteva ponovni proračun ili sporiju razmenu.

Google poredi svoj pristup sa velikom kuhinjom: TPU je kuvar sa malom radnom površinom, a dodatna RAM memorija i skladište su ostave. TPU Sync postavlja prenosne puteve tako da kuvar može da nastavi posao dok pomoćnici donose već pripremljene sastojke. U tehničkom smislu to podrazumeva direktne DMA prenose i mogućnost da se keš premešta između memorijskih nivoa. To pomaže posebno aplikacijama u kojima korisnici često ponavljaju isti početni skup uputstava ili koriste duge razgovore.

Šta znače rezultati od 90 odsto

Google navodi smanjenje vremena potrebnog za prenos KV podataka za više od 90 odsto u odabranim scenarijima. Za velike modele čija se veličina meri stotinama milijardi parametara, kompanija prijavljuje i prosečno oko 90 odsto kraće čekanje do prvog izlaznog tokena, u uslovima prefiksnog keširanja i razdvajanja obrade početnog upita od kasnijeg generisanja teksta. To ne znači da će svaki AI razgovor u svetu postati deset puta brži. Poboljšanje zavisi od veličine modela, vrste upita, mreže, broja korisnika i rasporeda podataka.

U tehničkim rezultatima za Ironwood TPU Google pominje do 223 gigabajta u sekundi sabrane propusnosti prenosa podataka između procesora i RAM memorije po serverskom domaćinu, uz određene testne uslove. To je rezultat merene infrastrukture, a ne brzina internet veze na korisničkom telefonu ili laptopu. Google navodi da se alat može povezati sa sistemima PyTorch i JAX, kao i servisnim okvirima vLLM i SGLang, pa je reč o tehnologiji prvenstveno namenjenoj programerima i operatorima velikih AI sistema.

Zašto je ova promena važna i korisnicima

Za običnog korisnika TPU Sync se neće pojaviti kao nova ikonica u aplikaciji. Njegov značaj je posredan: ako infrastruktura uspeva da kraće čeka na podatke, cloud kompanija može bolje da koristi postojeće AI procesore i potencijalno da ponudi brži rad zahtevnih modela. Istovremeno, ne postoji garancija da će se poboljšanje iz laboratorijskog testa automatski videti u svim komercijalnim servisima. Rezultat zavisi od stvarnog načina primene i od toga da li je baš prenos podataka glavno usko grlo.

Google razvija i eksperimentalni deo za razmenu ažuriranih parametara između računara koji treniraju modele i onih koji generišu odgovore tokom učenja sa potkrepljenjem. Time se otvara mogućnost da veliki AI klasteri sa mnogo akceleratora budu efikasniji, bez stalnog zastoja tokom prenosa modelskog stanja. Za čitaoce GN News važno je da razlikuju infrastrukturni napredak od proizvoda koji odmah mogu da kupe: TPU Sync je razvojni alat za velike AI sisteme. Uz članak je Google Cloud logotip sa Wikimedia Commons, a ne fotografija servera ili rezultata testa.

Izvori

https://cloud.google.com/blog/topics/ai-infrastructure/introducing-tpu-sync-fast-kv-cache-and-weight-transfer-on-tpu/

Komentari

Prikaz odobrenih komentara je dostupan. Slanje novih komentara biće uključeno kada se završe zaštita od zloupotreba i urednička moderacija.