CPSS formalizuje koje informacije vizuelna reprezentacija treba da zadrži iz prošlih patch-eva
Novi teorijski rad opisuje conditional predictive sufficient statistic kao reprezentaciju koja zadržava latentne faktore zajedničke prošlom i budućem delu slike, a odbacuje privatni šum patch-eva.
Dovoljna statistika za budući patch
Autori definišu CPSS kao statistiku posmatrane prošlosti koja zadržava latentne faktore deljene sa budućnošću i odbacuje šum specifičan za pojedinačne patch-eve.
U shared-factor modelu slika pokazuju da mutual information između prošlosti i sledećeg patch-a odgovara informaciji koju prošlost nosi o zajedničkom latentnom faktoru, uz ostatak koji budući patch sam ne otkriva.
Cosine predikcija nije sama dovoljna
Predikcija embeddinga sledećeg patch-a cosine loss-om može se tumačiti kao maximum-likelihood aproksimacija za pravac von Mises-Fisher raspodele.
Međutim, isti population loss može minimizovati i konstantan embedding, pa stop-gradient sam po sebi ne bira željenu dovoljnu statistiku.
Mali causal Transformer eksperimenti na MNIST-u i CIFAR-10 koriste se kao dijagnostika, ne kao leaderboard poređenje.
Izvori
Prikazani su izvorni linkovi korišćeni za proveru objavljenih činjenica.