BioEVAL uvodi PhD nivo benchmarka za AI modele u bioinženjerstvu
BioEVAL okuplja 22 istraživačke grupe i 608 evaluacionih zadataka kroz 11 velikih oblasti bioinženjerstva, sa pitanjima višestrukog izbora, sintezom literature i multimodalnim zadacima.
608 zadataka iz 11 oblasti
BioEVAL obuhvata 11 glavnih podoblasti bioinženjerstva i dodatnu grupu nekategorizovanih zadataka, uz učešće 22 istraživačke grupe.
Ukupno je napravljeno 608 evaluacionih stavki: 380 pitanja višestrukog izbora, 218 zadataka sinteze literature i 10 multimodalnih problema sa tumačenjem eksperimentalnih slika.
Nakon slepe međugrupne revizije 21 pitanje je označeno za izmenu ili uklanjanje, pa su objavljeni MCQ rezultati računati na 359 zadržanih pitanja.
Rezultati različiti po vrsti zadatka
Autori navode najviše ostvarene rezultate do 90% tačnosti na pitanjima višestrukog izbora, skor sličnosti 0,72 na sintezi literature i 80% tačnosti na malom uzorku multimodalnih zadataka.
Benchmark je zamišljen kao proširiv sistem sa standardizovanim pravilima za novo ekspertsko unošenje pitanja i buduće evaluacije modela.
Izvori
Prikazani su izvorni linkovi korišćeni za proveru objavljenih činjenica.