TRACE trenira RAG model da bolje proceni kada da veruje kontekstu, a kada sopstvenom znanju
Novi rad koristi debate tragove više agenata i dodatnu regularizaciju odgovora da bi RAG sistem bio otporniji kada se retrieved sadržaj sukobi sa internim znanjem modela.
Sukob spoljnog i parametarskog znanja
Autori polaze od problema da RAG model može slepo da prati pogrešan retrieved kontekst ili, suprotno tome, da zanemari dobar spoljni dokaz i osloni se na sopstveno parametarsko znanje.
TRACE fine-tuning kombinuje nadzor tačnog odgovora, potiskivanje pogrešnih kandidata, jačanje završnih tokena odgovora i sprečavanje prerane terminacije.
Otpornost na obmanjujući retrieval
Eksperimenti kroz više scenarija konflikta znanja i skupova podataka pokazuju, prema autorima, veću otpornost na obmanjujući retrieved sadržaj i manje nepotpunih odgovora.
Rad zaključuje da debate tragovi više agenata i regularizacija potpunosti zajedno poboljšavaju izbor izvora znanja, otpornost na konflikt i kvalitet odgovora u RAG modelima.
Izvori
Prikazani su izvorni linkovi korišćeni za proveru objavljenih činjenica.