Action Forcing izvlači kontrole kretanja iz videa bez sinhronizovanih action labela
Novi rad pokušava da obuči kontrolisani world model iz običnog videa tako što prati pomeranja piksela i iz ponavljajućih obrazaca egomotion-a izvlači latentne kontrole kretanja.
Kontrole iz samog videa
Autori polaze od problema što su za kontrolisane world modele potrebne sinhronizovane action anotacije, a takvi skupovi podataka su retki.
Metod prati pomeranja piksela kroz kadrove i koristi ponavljajuću koherentnu strukturu izazvanu egomotion-om da direktno izvuče signale kontrole.
Autori navode da čak i jednostavan PCA nad tim signalima daje potpisane, skalabilne i kompozabilne throttle-yaw kontrole, uz ograničenje da mogu biti otkrivene samo ose kretanja prisutne u podacima.
Nove metrike za world modele
Rad uvodi reference-free procenu koja meri controllability, plausibility, pojavu objekata ni iz čega i geometrijski integritet, probleme koje klasične video metrike mogu da propuste.
Autori nalaze da mnogi baseline modeli prate poznate smerove kretanja, ali imaju problem sa kretanjem unazad ili zadržavanjem mesta.
Izvori
Prikazani su izvorni linkovi korišćeni za proveru objavljenih činjenica.