Artificial Intelligence i video game benchmark: GameReplica testira kopiranje igara
GameReplica proverava mogu li vision-language AI agenti da posmatraju igru samo kroz slike i akcije, zaključe njena pravila i naprave samostalnu izvršivu kopiju.
AI mora da otkrije pravila bez izvornog koda
GameReplica zadaci daju agentu pristup ciljnoj igri samo kroz screenshotove i interfejs za akcije. Agent mora iz vizuelnog povratnog signala i posledica svojih akcija da zaključi ključne vizuelne elemente i pravila igre, a zatim generiše samostalnu izvršivu repliku.
Benchmark sadrži 125 zadataka iz 25 igara, raspoređenih kroz pet porodica osnovnih mehanika i pet nivoa težine za svaku igru.
Izgled je lakše kopirati nego mehaniku
Autori nalaze da su rezultati vizuelne vernosti dosledno viši od rezultata za implementaciju i usklađenost pravila, što ukazuje da agenti lakše kopiraju izgled igre nego njenu stvarnu mehaniku.
Najbolji model u eksperimentu, Claude Opus 4.8, ostvario je ukupni rezultat od 71,6%, dok su ostali modeli bili u rasponu od 4,0% do 42,9%.
Kako se težina povećava od L1 do L5, slabiji agenti gube znatno više performansi, dok rezultat najboljeg modela opada samo blago.
Izvori
Prikazani su izvorni linkovi korišćeni za proveru objavljenih činjenica.
Komentari
Komentari se objavljuju nakon moderacije.
Još nema objavljenih komentara.