ViRDM ubrzava causal video generation u nekoliko koraka

Zašto su few-step video modeli skupi za post-training

Few-step autoregressive video diffusion pokušava da smanji latenciju generisanja tako što video nastaje kroz mali broj koraka. Međutim, postojeći post-training pristupi često koriste Distribution Matching Distillation, što zahteva veliki pretrenirani teacher i online critic koji procenjuje razlike između distribucija.

Autori rada pitaju da li taj teacher-critic sloj može da se ukloni i da se post-training svede na optimizaciju samog generatora prema unapred izračunatoj ciljnoj distribuciji.

Tri prepreke pri prenosu RDM-a na video

ViRDM je zasnovan na idejama representation distribution matching pristupa koji je ranije korišćen za one-step image generation. Pri prenosu na few-step causal video, autori izdvajaju tri glavne prepreke: memorijski neizvodljiv gradient put, drugačiji režim optimizacije za video i reprezentacione distribucije koje nedovoljno ograničavaju temporalnu dinamiku.

Predloženi ViRDM recept rešava te prepreke redom i radi bez teacher i critic mreže tokom post-training faze. Autori dodatno uvode laganu regularizaciju dinamike kako bi kompenzovali nedovoljno ograničene temporalne odnose.

20 update koraka i 84,87 na VBench-u

Prema rezultatima u radu, samo 20 generator update koraka bilo je dovoljno da ViRDM dostigne 84,87 poena na zvaničnoj VBench evaluaciji. Autori navode da je to 0,36 poena više od prethodnog najboljeg few-step causal baseline-a.

Za taj rezultat prijavljeno je 16 A100 GPU-sati, dok autori ističu da generator-only post-training smanjuje i memorijsku potrošnju i vreme treninga u odnosu na trodelni teacher-critic-generator pristup.

Rad takođe prijavljuje rane rezultate koji sugerišu da isti recept može da se koristi pri nižem causal sampling budžetu, kao i za one-, two- i four-step bidirectional generation.