Google testirao AI na pravim inženjerskim zadacima: nijedan model nije prešao 50 odsto
Google je predstavio novi test sa 85 zadataka iz mašinstva, elektrotehnike i građevinarstva. Četrnaest vodećih AI modela provereno je na poslovima nalik realnom projektovanju, a najuspešniji je ostvario 48,3 odsto.
Šta je Google danas objavio
Koliko je veštačka inteligencija zaista spremna da projektuje ono što ljudi koriste svakoga dana? Google AI & Infrastructure predstavio je 3. novembra 2026. godine Physical-Engineering’s Last Exam, ili skraćeno PLE, novi test namenjen proveri AI agenata na profesionalnim zadacima iz fizičkog inženjerstva. Projekat je razvijen u saradnji sa kompanijom Mercor, a cilj nije da model odgovori na još jedno školsko pitanje, već da obradi stvaran skup dokumenata i predloži proverljivo inženjersko rešenje.
Najupadljiviji rezultat prvog poređenja jeste da nijedan od 14 ispitanih vodećih AI modela nije prešao polovinu mogućih bodova na privatnom skupu zadataka. Najbolji rezultat, meren u sopstvenom agentskom okruženju modela, iznosio je 48,3 odsto. To je Google-ov početni rezultat na konkretnoj metodologiji, a ne univerzalna ocena sposobnosti svih AI sistema.
Od elektrotehnike do mostova i zgrada
PLE sadrži 85 složenijih zadataka: 30 iz mašinstva, 27 iz elektrotehnike, 18 iz građevinarstva i 10 iz konstrukterskog inženjerstva. Na takvim poslovima inženjer ne bira samo tačan odgovor iz ponuđenog spiska, nego poredi zahteve investitora, tehničke crteže, propise i ograničenja gradnje. Zbog toga test pokušava da približi uslove stvarnog projektantskog rada, uz obaveznu proveru stručnog lica.
U proseku jedan zadatak uključuje 61 fajl, dok ceo test obuhvata ukupno 5.170 datoteka. Među njima su PDF dokumenti, tabele, elektronska pošta, dvodimenzionalni CAD crteži, trodimenzionalni BIM modeli i izmenjene verzije projektne dokumentacije. AI agent treba da pronađe relevantne podatke, sprovede proračune i pripremi rezultat koji čovek može da pregleda i oceni.
U testu učestvuju praktični inženjeri
Google navodi da su 44 zadatka direktno pripremili stručnjaci iz prakse, dok je preostalih 41 nastalo zajedničkim radom inženjera i automatizovanih alata. I u drugoj grupi stručnjaci su proveravali i otežavali zadatke. Takav pristup je bitan jer se zadatak ne ocenjuje samo po tome da li rezultat zvuči uverljivo, već po tome da li je primenljiv u poslu gde se računa sa stvarnim fizičkim ograničenjima.
Sistem nagrađivanja je strog: rezultat dobija bodove tek kada prođe sve obavezne bezbednosne i tehničke provere. U stvarnom projektovanju važni su građevinski standardi, električna opterećenja, materijal, troškovi i izvodljivost. Upravo tu razlika između lepog odgovora u razgovoru i validnog inženjerskog projekta može biti ogromna.
Zašto 91 odsto ispunjenih uslova ipak nije dovoljno
Google je objavio još jedan podatak koji objašnjava problem. Najuspešnija konfiguracija agenta uspela je da zadovolji 91 odsto pojedinačnih zahteva na zadacima nastalim zajedničkom izradom. Ipak, svega 41,3 odsto konačnih rešenja prošlo je sve stroge provere bezbednosti i izvodljivosti. Ako projekat ima deset važnih zahteva, neuspeh na jednom ključnom uslovu može da znači da ceo rezultat nije spreman za primenu.
To ne znači da AI nema vrednost za inženjere. Pokazuje, međutim, zašto stručna kontrola mora da ostane deo procesa i zašto nije dovoljno da model napiše razuman opis rešenja. Test je namerno napravljen tako da razdvaja delimično tačan rad od projekta koji bi mogao da bude prihvaćen za dalje profesionalno razmatranje.
Model, agent i alati nisu isto
U početnoj proveri korišćeno je 14 vodećih modela u sedam javno dostupnih agentskih okruženja, među kojima su Antigravity, Claude Code, Codex, Hermes, OpenCode, OpenHands i Pi. Okruženje određuje kako agent otvara fajlove, koristi alate i sprovodi više uzastopnih koraka, dok sam model obrađuje podatke i bira naredne radnje. Zato Google razdvaja uticaj modela od uticaja načina na koji je agent pokrenut.
Autori zaključuju da je izbor modela u ovoj proveri imao veći uticaj na postignuti rezultat nego sama agentska platforma, iako okruženje može znatno da utiče na troškove rada. Za firme koje uvode AI u projektantski posao to je signal da porede čitav tok, a ne samo reklamu za pojedinačni model.
Test se otvara istraživačima i javnom nadmetanju
Za istraživače i razvojne timove Google objavljuje 29 zadataka, alate za ocenjivanje i otvoreno takmičenje. Radovi mogu da se proveravaju i preko privatnog testnog skupa na sajtu ple-bench.com, a kompanija navodi da je 13 modela koje sponzoriše dostupno za besplatno pokretanje na njenim serverima tokom ovog nadmetanja. Objavljen je i tehnički rad koji detaljnije objašnjava postupak.
Zbog javnih primera različiti timovi moći će da upoređuju napredak i traže greške koje na uobičajenim testovima ostaju skrivene. Za širu publiku važna je jasna granica: AI može da pomogne pri proračunima, dokumentaciji i poređenju mogućnosti, ali današnji početni rezultati ne opravdavaju samostalno izvođenje bez nadzora ovlašćenog inženjera.