MM-VeriAgent uči kako da bira alate za proveru multimodalnih dezinformacija
Preprint predstavlja MM-VeriAgent, sistem koji reinforcement learningom uči kada i kako da koristi specijalizovane alate za proveru kombinovanih tekstualnih i vizuelnih manipulacija.
Alati za tekstualne i vizuelne prevare
Autori prvo grade MM-VeriTools, skup specijalizovanih alata namenjenih agentima za detekciju dezinformacija.
Za tekstualnu, vizuelnu i cross-modalnu analizu biraju najbolje kandidate iz poređenih modela i metoda i zatim ih izlažu agentu kroz jedinstven interfejs.
MM-VeriAgent je zatim treniran reinforcement learningom da nauči kako da koristi te alate pri proveri dezinformacija sa mešovitim izvorima manipulacije.
Keš smanjuje broj izvršavanja alata tokom treninga
Autori uvode Tool-Execution Cache koji unapred izvršava kandidatske pozive alata i tokom treninga ponovo koristi njihove rezultate.
Na MMFakeBench testu autori navode znatno veće tačnosti od baznog modela, bez eksplicitne pretrage alata u inference fazi.
Izvori
Prikazani su izvorni linkovi korišćeni za proveru objavljenih činjenica.