NaukaGN News Redakcija05.11.2026. 09:17pre 3 h

Agile Deliberation: Google testirao AI koji ljudima pokazuje granične slučajeve

Sistem pomaže da se subjektivne kategorije definišu kroz pozitivne, negativne i granične primere. Nalazi potiču iz 18 sesija i još čekaju širu nezavisnu proveru.

Zvanična ilustracija Google Research-a za sistem Agile Deliberation — Zvanična ilustracija uz istraživačku objavu Google Research-a, Google Press Image Library.

Klasifikacija kada ni ljudi nemaju jednostavno pravilo

Istraživači Google Research-a Otilia Stretcu i Leijie Wang predstavili su 4. novembra sistem Agile Deliberation za zadatke u kojima kategorija zavisi od procene čoveka, a ne od jasne fizičke osobine. Primer može biti odluka da li fotografija prikazuje „zdravu hranu“ ili da li sadržaj video-igre ulazi u obrazac „plati da bi napredovao“. U takvim slučajevima ni stručnjaci često ne počinju sa potpunom definicijom. Sistem zato ne traži samo gotove oznake, već pomaže korisniku da kroz primere izgradi granicu kategorije. Objavu treba čitati kao izveštaj autora istraživanja, a ne kao dokaz da je metod već pouzdan u svakoj oblasti.

Naziv „deliberation“ odnosi se na promišljanje o graničnim slučajevima. Cilj nije da model sam odredi društveno prihvatljivu definiciju, već da osobi pokaže primere na kojima pravilo nije očigledno. Time se ljudski sud zadržava u procesu, ali se pažnja usmerava na slike koje najviše mogu da promene klasifikator. Takav pristup je posebno važan kada različiti ljudi istu kategoriju tumače na različite načine. Autori ne tvrde da sistem uklanja subjektivnost; pokušavaju da je učine vidljivijom i doslednije prevedu u uputstvo modelu.

Dve faze: okvir pojma i granični primeri

U fazi concept scoping korisnik opisuje šta pripada kategoriji i šta iz nje treba izuzeti. Pozitivni primeri označavaju in-scope slučajeve, dok negativni predstavljaju out-of-scope granicu. Zatim sledi concept iteration: vision-language model pretražuje skup slika i izdvaja granične primere koji najviše proveravaju trenutno pravilo. Korisnik daje povratnu informaciju, a sistem na osnovu nje automatski prilagođava prompt klasifikatora. Petlja se ponavlja dok pravilo ne postane dovoljno stabilno za konkretan zadatak. To nije isto što i potpuno automatsko označavanje, jer osoba i dalje određuje značenje kategorije i potvrđuje problematične primere.

Pristup može biti koristan tamo gde opis u jednoj rečenici nije dovoljan, ali nosi i poznate rizike. Ako je početna grupa korisnika pristrasna ili ne predstavlja ljude na koje odluka utiče, dosledniji model može samo doslednije primenjivati loše pravilo. Zato transparentan zapis promena i izbor učesnika ostaju važni.

Šta je pokazala evaluacija sa 18 sesija

Autori su Agile Deliberation procenili u 18 sesija uživo, od kojih je svaka trajala oko sat i po. Učesnici su radili na dve subjektivne oblasti nazvane Healthy Food i Pay-to-Play. Sistem su upoređivali sa zero-shot klasifikacijom, pomoćnikom za modeliranje i ručnim postupkom deliberacije. Prema rezultatima koje iznose Stretcu i Wang, učesnici su prijavljivali manje zamora i anksioznosti, a završni modeli bili su konzistentniji i uspešniji od posmatranih baznih pristupa. Broj sesija je ipak ograničen, a rezultat nije nezavisna replikacija, pa nije opravdano generalizovati ga na medicinu, zapošljavanje ili druge odluke visokog rizika.

Objavljivanje koda i algoritama na GitHub-u omogućava drugim istraživačima da pregledaju postupak, ponove eksperiment ili testiraju drugačije skupove podataka. Otvoren kod, međutim, nije sam po sebi potvrda tačnosti niti rešava pitanja privatnosti, reprezentativnosti učesnika i odgovornosti za pogrešnu klasifikaciju. Najava pokazuje jedan mogući obrazac saradnje čoveka i modela: mašina pronalazi nejasne slučajeve, a čovek precizira pravilo. Koliko je obrazac robustan zavisiće od nezavisnih ponavljanja, šireg broja učesnika i testova izvan dva domena korišćena u radu.

Izvori

https://research.google/blog/agile-deliberation-how-ai-helps-humans-define-the-gray-areas/

Komentari

Prikaz odobrenih komentara je dostupan. Slanje novih komentara biće uključeno kada se završe zaštita od zloupotreba i urednička moderacija.