MINT prenosi MRI znanje na govor za rano prepoznavanje Alzheimerove bolesti
Istraživači predlažu MINT, trostepeni okvir koji tokom treninga prenosi strukturu biomarkera izvedenu iz MRI snimaka na govorne reprezentacije.
Jeftiniji signal za širu primenu
Strukturni MRI daje korisne biomarkere, ali zahteva skupu infrastrukturu, dok je govor neinvazivna alternativa pogodnija za širu primenu.
Autori rada polaze od činjenice da blago kognitivno oštećenje prethodi demenciji kod Alzheimerove bolesti i pokušavaju da govornim modelima daju biološki utemeljeniju reprezentaciju.
MRI kao učitelj
MINT koristi MRI teacher koji definiše kompaktan prostor reprezentacija za klasifikaciju CN naspram MCI, dok projekciona glava poravnava govorne reprezentacije sa tim prostorom kombinovanim geometrijskim gubitkom.
Nakon treninga zamrznuti MRI klasifikator omogućava zaključivanje bez potrebe da MRI bude dostupan u trenutku procene.
Rezultati na ADNI-4
Na skupu ADNI-4 poravnati govor postiže rezultate uporedive sa govornim baseline modelima, dok multimodalno spajanje poboljšava rezultat u odnosu na korišćenje samo MRI signala.
Ablation testovi izdvajaju dropout regularizaciju i self-supervised pretraining kao važne izbore u dizajnu sistema.
Izvori
Prikazani su izvorni linkovi korišćeni za proveru objavljenih činjenica.
Komentari
Komentari se objavljuju nakon moderacije.
Još nema objavljenih komentara.