Novi TrafficSignBench test proverava kako autonomna vozila poštuju 34 saobraćajna znaka

TrafficSignBench uvodi pravila povezana sa 34 saobraćajna znaka i za svako od njih koristi automatsku proveru koja tokom closed-loop simulacije može da registruje kršenje odgovarajućeg pravila vožnje.

Autori upozoravaju da standardne ocene autonomne vožnje često sabiraju pokazatelje kao što su uspeh dolaska do cilja, broj sudara i ukupni driving score, ali time ne proveravaju direktno da li planer poštuje saobraćajne propise.

U testovima na 5.800 scena istraživači su pokazali da savremeni planeri mogu da ostvaruju dobre rezultate na uobičajenim metrikama, a da istovremeno imaju slabu usklađenost sa pravilima i proizvode nebezbedno ili nedozvoljeno ponašanje.

Framework kombinuje simulaciju zasnovanu na realnim mapama sa proceduralnim generisanjem scenarija usmerenih na pojedinačna pravila, a ukupno obuhvata 29.000 različitih drumskih scena i 29 tipova testnih situacija.

Istraživači dodatno koriste eksplicitna ograničenja vezana za saobraćajne znakove kako bi postojeće planere pretvorili u eksperte za generisanje putanja koje poštuju pravila i tako proizveli kvalitetnije podatke za dalje fino podešavanje modela.