QiT prenosi kvantno inspirisane ideje u klasični Transformer za slike
QiT je predstavljen kao kvantno inspirisan Transformer za vizuelno prepoznavanje koji ostaje u potpunosti klasičan i ne tvrdi da donosi kvantno ubrzanje.
Kvantna inspiracija bez kvantnog hardvera
Autori uvode QiT sa kodiranjem inspirisanim uglovima, pažnjom nad periodičnim karakteristikama i multiplicativnim interakcijama koje oponašaju određene obrasce iz varijacionih kvantnih kola.
Sve komponente su diferencijabilne tenzorske operacije, pa QiT ne koristi kvantno računanje niti tvrdi da postiže kvantno ubrzanje, a složenost pažnje ostaje ista kao kod standardnog Vision Transformera.
Rezultati na slikama
U radu se navodi da je QiT konkurentan odgovarajućem klasičnom Transformeru na zadacima klasifikacije slika, uz znatno niži trošak od malog simuliranog kvantnog Transformera.
Varijanta QiT-B prijavljena je sa 78,3 odsto top-1 tačnosti na ImageNet-1K, 45,7 miliona parametara i 11,5 GFLOPs.
Šta se ovim testira
Cilj rada je da proveri mogu li se korisne strukturne ideje iz kvantnih modela realizovati kao skalabilne klasične Transformer operacije, bez ograničenja današnjih kvantnih neuronskih mreža kao što su mali broj kubita, skupa simulacija, šum i nestabilna optimizacija.
Izvori
Prikazani su izvorni linkovi korišćeni za proveru objavljenih činjenica.
Komentari
Komentari se objavljuju nakon moderacije.
Još nema objavljenih komentara.