Znanje iz event kamera može da nauči RGB model da se više oslanja na oblik nego teksturu
Novi rad koristi cross-domain distillation iz event-camera domena ka RGB modelu i nalazi jaču orijentaciju na konture, manju zavisnost od boje i veću otpornost na visokofrekventni šum.
Event podaci kao izvor drugačijeg inductive bias-a
Autori polaze od poznatog problema da CNN modeli trenirani na ImageNet-u često razvijaju snažnu sklonost lokalnoj visokofrekventnoj teksturi, što može smanjiti robusnost pri promeni distribucije.
Eksperimenti pokazuju da distilacija iz event-camera domena u RGB domen uvodi veću invariancu na boju, jači shape bias i robusnost na visokofrekventni šum.
Manje oslanjanja na teksturu
Autori mehanizam objašnjavaju smanjenjem zavisnosti modela od visokofrekventne teksture i jačim oslanjanjem na ivice i oblik objekta.
Promene su praćene i u ranim slojevima obrade boje i prostora, uz trade-off između otpornosti na odsustvo visokih frekvencija i osetljivosti na poremećaj frekventnih opsega na koje se model oslanja.
Rad navodi da se ovakav prior razlikuje od postojećih robustification metoda i može biti koristan u zadacima gde oblik i kontura nose važan signal.
Izvori
Prikazani su izvorni linkovi korišćeni za proveru objavljenih činjenica.