Novi okvir testira XAI objašnjenja protiv sintetičke poznate istine
Istraživači predlažu sintetički benchmark za explainable AI u kojem je značaj ulaznih komponenti unapred određen kontrolisanim intervencijama, pa se objašnjenja mogu porediti sa stvarnom poznatom osnovom.
Problem fidelity metrika
Autori navode da se postojeće XAI metode često ocenjuju prema tome koliko dobro objašnjenje reprodukuje izlaz black-box modela.
Takav pristup, prema radu, ne garantuje da objašnjenje zaista odražava unutrašnji proces donošenja odluke, pa različita objašnjenja mogu imati sličan fidelity skor i istovremeno davati neusklađene interpretacije.
Kontrolisane intervencije grade ground truth
Predloženi okvir koristi kontrolisane intervencije da generiše sintetičke skupove podataka u kojima se važnost ulaznih komponenti određuje samim dizajnom.
Time se dobijaju ground-truth objašnjenja direktno usklađena sa ponašanjem modela koji se analizira.
Okvir je testiran na binarnim slikama, tabelarnim podacima i vremenskim serijama, a poređenje devet široko korišćenih XAI metoda pokazalo je značajna ograničenja postojećih tehnika.
Izvori
Prikazani su izvorni linkovi korišćeni za proveru objavljenih činjenica.