GN News
TehnologijaGN News Redakcija

Google Cloud predstavio Spark 4.0: AI agenti za obradu podataka i brže izvršavanje

Nova platforma donosi Apache Spark 4.2, AI podršku za otklanjanje grešaka i Lightning Engine, uz deklarisana poboljšanja performansi.

Serverska oprema Wikimedia fondacije na arhivskoj fotografiji; ilustracija obrade podataka, ne Google Cloud server.
Fotoilustracija: arhivski snimak serverske opreme Wikimedia fondacije, kao prikaz infrastrukture za obradu podataka. Nije Google Cloud centar podataka. Foto: Victorgrigas / Wikimedia Commons (original; CC BY-SA 3.0; kadriranje i korekcija boja: GN News).

Novo okruženje za obradu velikih količina podataka

Google Cloud objavio je opštu dostupnost servisa Managed Service for Apache Spark 4.0, sa novim izvršnim okruženjem namenjenim kompanijama koje obrađuju velike skupove podataka. Iza naziva 4.0 nalazi se podrška za Apache Spark 4.2, uz Java 25, Python 3.13 i Apache Iceberg 1.12. Google ističe da se ista moderna softverska osnova može koristiti u serverless režimu i na upravljanim klasterima, kako bi se pojednostavilo održavanje i prenošenje poslova.

Apache Spark je sistem za raspodeljenu obradu podataka, koji se koristi za pripremu analiza, mašinsko učenje i rad sa velikim tabelama. U praksi je važan velikim organizacijama koje istovremeno pokreću brojne poslove, ali i razvojnim timovima koji žele da automatizuju obradu podataka. Zato novo izdanje nije samo promena broja verzije: Google želi da poveže izvršavanje, upravljanje resursima, nadzor i alate zasnovane na veštačkoj inteligenciji u jedno korisničko okruženje.

AI agent koji pomaže kada posao stane

Jedna od glavnih novina jeste redizajnirana Google Cloud konzola sa objedinjanim prikazom zadataka, serverless sesija i klastera. Razvojni timovi mogu da započnu rad iz galerije primera, koriste javne skupove podataka ili otvore Visual Studio Code preko Cloud Shell okruženja. Kada se Spark posao uspori ili prekine, integrisani AI agent može da pregleda logove, pokazatelje rada i plan izvršavanja upita kako bi predložio mogući uzrok problema.

Prema Googleovom opisu, agent radi u okviru postojećih IAM dozvola i daje preporuke za otklanjanje grešaka. To nije garancija da će samostalno i bez kontrole ispraviti svaki kvar, jer se promena konfiguracije i dalje mora proceniti u skladu sa pravilima organizacije. Uz Data Agent Kit, razvojni timovi mogu povezati Spark sa okruženjima kao što su VS Code, Claude Code i Antigravity, koristeći MCP alate i odgovarajuće pristupe servisima.

Ubrzanje rada uz Lightning Engine

Google je objavio i rezultate ubrzanja za Lightning Engine, mehanizam koji koristi nativno izvršavanje upita. U izabranim poređenjima kompanija navodi do 3,25 puta bolje performanse u odnosu na cenu nego kod konkurentskog brzog Spark rešenja. U poređenju sa standardnim izvršavanjem otvorenog Apache Sparka navodi do 4,9 puta brži rad bez izmene korisničkog koda. To su rezultati navedeni u promotivnom tehničkom saopštenju, a ne nezavisno potvrđeno ubrzanje svakog zadatka.

Dodatno se pominje brže čitanje fajlova iz Apache Iceberg tabela, do 50 odsto u scenarijima obuhvaćenim Googleovim merenjima. Za BigQuery je naveden do 40 odsto brži pristup zahvaljujući nativnom čitaču zasnovanom na Apache Arrow tokovima. Efekat u realnom sistemu zavisiće od tipa podataka, veličine radnog opterećenja, konfiguracije i načina na koji se upiti izvršavaju. Zato je važno testirati sopstvene podatke pre procene uštede.

Šta donosi firmama koje koriste serverless

Novi serverless poslovi u verziji 4.0, prema Googleu, podrazumevano koriste Premium nivo sa novijom računarskom i skladišnom infrastrukturom, dok se kroz optimizovano pokretanje pokušava smanjiti vreme čekanja na kraće zadatke. Google navodi i objedinjene Data Compute Unit kvote, koje treba da pojednostave upravljanje raspoloživim kapacitetima. Uvođenje zajedničkog Lakehouse kataloga omogućava usaglašeniji pristup tabelama i pravilima upravljanja podacima.

Za firme je potencijalna korist manje ručnog održavanja i lakši razvoj poslova koji se često pokreću, uključujući zadatke koje predlažu AI agenti. Međutim, prelazak na novu verziju ipak zahteva proveru kompatibilnosti postojećih obrada, biblioteka i bezbednosnih politika. GN News je za ovu vest napravio originalnu infografiku iz tri eksplicitno navedena Googleova pokazatelja; ona ne predstavlja garantovan rezultat svakog korisnika.

Izvori

Podeli vest

Pošaljite ovu vest prijateljima. Link prikazuje naslov i fotografiju članka.

Komentari

Prikaz odobrenih komentara je dostupan. Slanje novih komentara biće uključeno kada se završe zaštita od zloupotreba i urednička moderacija.

Podeli vest

Pošaljite ovu vest prijateljima. Link prikazuje naslov i fotografiju članka.

Komentari

Prikaz odobrenih komentara je dostupan. Slanje novih komentara biće uključeno kada se završe zaštita od zloupotreba i urednička moderacija.

Podeli vest

Pošaljite ovu vest prijateljima. Link prikazuje naslov i fotografiju članka.

Komentari

Prikaz odobrenih komentara je dostupan. Slanje novih komentara biće uključeno kada se završe zaštita od zloupotreba i urednička moderacija.