ORDER benchmark ispituje kako AI uči pravila iz izmišljenih svetova

Ključne činjenice

Rad ORDER: A Fictitious-World Benchmark for Domain-Adaptive Embodied AI polazi od problema da se napredak posle kontinuiranog pretreniravanja teško tumači kada se novi korpus preklapa sa znanjem koje model već poseduje.

Zato ORDER koristi izmišljena pravila i svetove kako bi proverio da li sistem zaista može da usvoji novo znanje, umesto da rezultat duguje memorisanju ili ranijim obrascima.

Dva nivoa provere

Benchmark povezuje ORDER-BENCH, test sa 500 pitanja, i zahtevniji ORDER-SPATIAL, u kome modeli moraju da pravilno poređaju objekte za bezbednu manipulaciju u poznatim i potpuno novim scenama.

Autori navode da posle kontinuiranog pretreniravanja manji modeli znatno napreduju i na poznatim i na novim scenama, što tumače kao znak učenja novog modela sveta, a ne prostog pamćenja.

U radu se posebno ističe da rezultat na ORDER-SPATIAL bolje predviđa kvalitet stvarnih planova nego sama tačnost na testu znanja.

Zašto je to važno za robotiku

Istraživači ovaj problem povezuju sa primenama robotike u kojima je fizički zadatak relativno jednostavan, ali su pravila specifična, vlasnička ili bezbednosno osetljiva, kao što su farmaceutsko rukovanje, rad sa opasnim materijalima i procedure pojedinačnih objekata.

Rezultati zato sugerišu da samo poznavanje pravila nije dovoljno: za procenu sistema važno je proveriti da li se naučeno znanje prenosi na izvršive prostorne planove u novim uslovima.