Google Cloud proširuje Envoy za AI agente: rutiranje po modelu, tokenima i MCP alatima
Google Cloud opisao je nove mogućnosti otvorenog Envoy proxyja za saobraćaj AI agenata. Cilj je kontrola potrošnje tokena, očuvanje sesija, rutiranje MCP poziva i bezbednosne provere pre pristupa modelima i alatima.

Zašto običan L7 proxy nije dovoljan agentima
Google Cloud je 18. novembra predstavio tehnički pregled načina na koji Envoy prilagođava saobraćaj AI modelima i autonomnim agentima. Klasični proxy uglavnom odlučuje prema adresi, metodu i zaglavljima, dok agentski zahtevi nose ključne podatke dublje u telu poruke. Model, alat, veličina konteksta i tok višekoračnog razgovora zato mogu biti važniji od samog broja HTTP zahteva.
Googleov predlog je da Envoy postane zajednički mrežni sloj za AI saobraćaj, MCP alate i komunikaciju između agenata. Proxy bi normalizovao različite šeme zahteva, uključujući formate više dobavljača modela, i iz poruke izvlačio podatke potrebne za rutiranje. To smanjuje potrebu da svaka aplikacija zasebno implementira prevod između modelskih API-ja.
Tokeni postaju mera opterećenja
Jedan veliki zahtev može da potroši više računarske snage od desetina kratkih upita, pa ograničenje samo po broju zahteva nije dovoljno. Envoy dobija mehanizme za limite tokena po minutu i po danu, po korisniku, projektu ili modelu. Pre slanja modelu može da proceni količinu ulaznih tokena, a zatim iz odgovora zabeleži stvarnu potrošnju.
Isti pristup treba da obuzda agentske petlje koje nastavljaju da rezoniraju i pozivaju alate bez jasnog završetka. Kumulativna potrošnja i broj poruka mogu da se prate po sesiji ili identitetu agenta. To je prvenstveno kontrola budžeta i kapaciteta; kvalitet odgovora i ispravnost odluka i dalje zavise od modela, podataka i pravila aplikacije.
Keš, rezervni modeli i MCP provere
Kod višekoračnih sesija važno je da sledeći zahtev stigne do radnika koji već čuva potreban kontekst. Google opisuje KV-cache prefix affinity, kojim se upiti sa istim sistemskim instrukcijama usmeravaju ka GPU radniku sa odgovarajućim kešom. Ako primarni model vrati grešku 429 ili nije dostupan, Envoy može da ponovi zahtev ili ga pošalje rezervnom skupu modela.
Za MCP agente proxy razmatra i sadržaj JSON-RPC poruke i odgovarajuća HTTP zaglavlja. Backend može da odbije zahtev greškom HeaderMismatch kada se podaci ne podudaraju, što treba da oteža neovlašćenu izmenu poziva alata. Takva provera je korisna, ali ne zamenjuje autorizaciju, proveru argumenata i ograničenja pristupa bazama, kodu i spoljnim servisima.
Bezbednosni filtri i uspavana okruženja
Envoy može da prosledi sadržaj spoljnim sistemima za odluke o politici, među kojima Google navodi Model Armor, ShieldGemma i alate za sprečavanje curenja podataka. Ideja je da se prompt injection i osetljivi podaci provere u mrežnom toku, pre nego što zahtev stigne do modela ili alata. Praktična primena mora da meri i kašnjenje, lažno pozitivne rezultate i rizik da filter propusti opasan sadržaj.
Objava opisuje i scale-to-zero usmeravanje: suspendovano agentsko okruženje budi se kada stigne saobraćaj, dok Envoy privremeno zadržava početni paket. To može smanjiti trošak velikog broja neaktivnih agenata. Ipak, tekst je tehnički pravac Google Clouda i otvorenog Envoy ekosistema, pa timovi pre produkcije moraju zasebno da provere stabilnost, podržane verzije, performanse i granice svake funkcije.
Izvori
Podeli vest
Pošaljite ovu vest prijateljima. Link prikazuje naslov i fotografiju članka.
Komentari
Prikaz odobrenih komentara je dostupan. Slanje novih komentara biće uključeno kada se završe zaštita od zloupotreba i urednička moderacija.





Učitavanje komentara...