Studija preispituje kako se meri metodološki napredak AI sistema za elektronske zdravstvene kartone
Istraživači su u zajedničkom okviru ponovo implementirali 12 starijih i novijih algoritama i testirali ih na dva klinička skupa podataka kako bi proverili koliko se zaključci prenose između zadataka.
Isti okvir za 12 algoritama
Autori su ponovo implementirali 12 istorijskih i savremenih algoritama u zajedničkom evaluacionom okviru i testirali ih na kliničkim skupovima MIMIC-IV i NWICU.
Poređene su dve grupe zadataka: klinički smisleni zadaci koje su definisali stručnjaci i generisani zadaci dobijeni nasumičnim izborom kodova događaja i vremenskih horizonata predikcije.
Koliko se poređenja prenose
Rezultati pokazuju da se zbirna poređenja parova algoritama snažno prenose između različitih evaluacionih okruženja, uključujući prelazak sa nasumično generisanih na klinički relevantne zadatke i između skupova podataka.
Istovremeno, klinički relevantni zadaci pokazuju veću interakciju između zadatka i metode, što prema autorima sugeriše da osobine konkretnog zadatka mogu objasniti kada određeni izbor modela ima prednost.
Novije nije automatski bolje
Autori navode da noviji algoritmi ne nadmašuju dosledno ranije pristupe: gradient-boosted trees ostaju veoma konkurentni kada se kombinuju sa modernom širokom i retkom reprezentacijom EHR podataka.
Zaključak rada je da korisno metodološko znanje možda zahteva manje ručnog projektovanja zadataka nego što se često pretpostavlja, ali da preostale razlike između zadataka i metoda ipak moraju da se razumeju.
Izvori
Prikazani su izvorni linkovi korišćeni za proveru objavljenih činjenica.
Komentari
Komentari se objavljuju nakon moderacije.
Još nema objavljenih komentara.