TehnologijaGN News Redakcija14.11.2026. 05:53pre 18 h

Google Cloud ubrzao prenos podataka: BigQuery i AlloyDB povezani bez složenih skripti

Nova funkcija direktnog izvoza iz BigQueryja u AlloyDB pojednostavljuje rad poslovnih baza. Brazilska kompanija Copel opisala je testove sa više miliona redova u minuti.

LinkinPro / Wikimedia Commons. CC BY-SA 4.0 (https://creativecommons.org/licenses/by-sa/4.0). Izvor: https://commons.wikimedia.org/wiki/File:Google-cloud-platform-v2.svg. Obrada: slika konvertovana u WebP.

Zašto je prebacivanje podataka između baza komplikovano

Google Cloud je predstavio opštu dostupnost direktnog izvoza iz BigQueryja u AlloyDB, tehnologiju namenjenu kompanijama koje iste podatke koriste i za analitiku i za svakodnevne operacije. BigQuery se obično koristi za obradu velikih količina informacija, dok AlloyDB, zasnovan na PostgreSQL tehnologiji, služi aplikacijama kojima su potrebni brzi transakcioni upiti. Prebacivanje obrađenih podataka nazad u operativne baze poznato je kao reverse ETL. U praksi je taj posao često zahtevao privremene datoteke, skripte i složenu koordinaciju više servisa.

Nova funkcija omogućava da se izvoz pokrene jednim SQL izrazom, koristeći komandu EXPORT DATA WITH CONNECTION. Time se iz analitičkog sistema podaci šalju direktno ka odabranoj AlloyDB instanci. Google navodi da posredni koraci sa CSV datotekama u Cloud Storage-u više nisu obavezni za opisani način rada. To ne znači da se svaki postojeći sistem može automatski prebaciti bez prilagođavanja: i dalje su važni oblik podataka, pravo pristupa, način ažuriranja tabela i uticaj operacija na korisničke aplikacije.

Primer iz energetike: milioni pametnih brojila

Kao praktičan primer Google navodi brazilsku elektroenergetsku kompaniju Copel, koja obrađuje telemetrijske podatke velikog broja pametnih brojila. Informacije prvo stižu u analitički sloj, gde se sređuju i povezuju, ali deo njihovih rezultata mora da bude dostupan i operativnim servisima. To obuhvata aplikacije za korisničku podršku, nadzorne prikaze i sisteme povezane sa obračunom. Takvi sistemi ne mogu uvek da čekaju da se složen analitički posao ručno završi.

Ranija arhitektura, prema objavljenom opisu, oslanjala se na Google Cloud Storage kao međuskladište. Analitički rezultati izvozili su se u više CSV datoteka, dok je Apache Airflow koordinirao skripte i privremene tabele u AlloyDB-u. To je povećavalo broj mesta na kojima prenos može da zastane. Copel je zamenio deo te putanje direktnim izvozom iz BigQueryja u AlloyDB. Kompanija navodi da je time pojednostavila Airflow postupak, izbegla privremene datoteke i smanjila održavanje posebnih skripti.

Šta pokazuju testovi brzine

Google je objavio dve vrste merenja performansi nove putanje. Za inkrementalni izvoz, odnosno prenos manjeg skupa promenjenih podataka, navodi se približno 3,1 milion redova u minuti. U testu izvoza velike tabele postignuto je približno 4,2 miliona redova u minuti. Opis navodi računarsku instancu N2 sa 16 virtuelnih jezgara i 128 gigabajta memorije. Posebno je značajno što su testovi obuhvatili podatke pametnih brojila, koji mogu sadržati složenije strukture nego obična tekstualna tabela.

Ove vrednosti treba tumačiti kao rezultate konkretnog primera koji objavljuje sam dobavljač cloud tehnologije. Brzina prenosa kod druge kompanije zavisiće od veličine podataka, mrežne i baze arhitekture, broja paralelnih poslova i drugih ograničenja. Zato broj od 4,2 miliona redova u minuti ne predstavlja garantovani minimum ili očekivani rezultat svake instalacije. Koristan je kao pokazatelj da direktan pristup u prikazanom slučaju može obraditi veliki obim zapisa bez više zasebnih koraka.

Kako se menja posao timova za podatke

Jedna prednost koju Google naglašava jeste direktna podrška za prenos složenijih zapisa u JSONB kolone u AlloyDB-u. Time podaci mogu ostati dostupni za pretraživanje i indeksiranje u PostgreSQL okruženju, bez potrebe da se svaki podatak prethodno pretvori u zasebnu tekstualnu datoteku. Sa tehničke strane, pojednostavljenje ne podrazumeva ukidanje pravila bezbednosti, evidencije pristupa ili kontrole ispravnosti podataka. Timovi i dalje moraju da provere ko sme da pokreće izvoz, koje tabele se menjaju i kako se rešavaju neuspešni prenosi.

Za kompanije koje već koriste BigQuery i AlloyDB ova novost može smanjiti broj servisa potrebnih za povezivanje analitike i aplikacija. Za one koje imaju drugu bazu, drugačija opterećenja ili posebne regulatorne zahteve rezultat ne mora biti isti. Vest je zanimljiva zato što pokazuje širi pravac razvoja poslovnih cloud sistema: umesto stalnog izvoza podataka kroz niz međustepenica, proizvođači nastoje da analitičke i operativne sisteme povežu neposrednije. Fotografija uz vest prikazuje logo Google Cloud platforme kao ilustraciju tehnologije, a ne opremu elektroenergetske kompanije Copel.

Izvori

https://cloud.google.com/blog/products/data-analytics/reverse-etl-bigquery-exports-to-alloydb/

Komentari

Prikaz odobrenih komentara je dostupan. Slanje novih komentara biće uključeno kada se završe zaštita od zloupotreba i urednička moderacija.