GraspTwin koristi digitalni blizanac da robot bira hvat prilagođen zadatku
Novi sistem kombinuje foundation model, digitalni blizanac i lokalnu optimizaciju da bi robot izabrao hvat koji nije samo stabilan već i koristan za sledeću radnju, poput hvatanja šolje za dršku pre sipanja.
Hvat mora da odgovara zadatku
Autori ističu da kod mnogih robotskih zadataka nije dovoljno samo bezbedno podići predmet, već položaj hvata mora da odgovara onome što robot želi da uradi posle toga.
Kao primer navode sipanje kafe, gde je za narednu radnju korisnije uhvatiti šolju za dršku nego za obod.
Foundation model daje semantički početak, fizika ga proverava
Iz jedne RGB-D opservacije GraspTwin pravi digitalni blizanac okruženja, traži od velikog foundation modela predloge hvata i zatim ih optimizuje da bi bili robusni i fizički izvodljivi na stvarnom robotu.
Autori predloge foundation modela tretiraju kao semantičke priore i početne tačke za lokalnu optimizaciju bez gradijenta.
Za pretragu obližnjih poza koriste Bayesian optimization sa Thompson samplingom i paralelno ih proveravaju kroz domain-randomized fizičke simulacije.
Prema rezultatima autora, ceo zero-shot transfer traje nekoliko minuta i povećava uspeh task-oriented hvatanja do 33% u odnosu na poređene savremene pipeline-ove.
Izvori
Prikazani su izvorni linkovi korišćeni za proveru objavljenih činjenica.