Novi metod smanjuje rizik da finansijski AI modeli „znaju“ buduće rezultate u istorijskim testovima
Novi rad predlaže prilagođavanje finansijskih jezičkih modela malim adapterom umesto ponovnog godišnjeg pretreniravanja, kako bi se izbegla pristrasnost gledanja u budućnost.
Model ne sme da zna budućnost testa
Autori upozoravaju da jezički modeli u finansijskim istorijskim testovima mogu imati pristrasnost gledanja unapred ako su obučeni na tekstovima objavljenim posle perioda koji se analizira. U tom slučaju model je već mogao da vidi ishode koje bi u simulaciji trebalo tek da predvidi.
Rad ispituje da li je za svaku novu godinu zaista potreban potpuno novi ciklus pretreniravanja. Autori navode da dodatna godina obično znači još jedan pun pretraining, ali da njihovi rezultati pokazuju da taj godišnji postupak nije neophodan.
Mali adapter umesto novog modela
Predloženi PALM, Point-in-Time Adaptation for Financial Language Models, prilagođava postojeći model low-rank adapterom na tekstovima objavljenim pre datuma odluke, bez menjanja prethodno naučenih težina. Autori navode i da mali adapter može da doda novi vremenski period znanju starog checkpointa i da je u njihovim testovima nadmašio nastavak pretreniravanja.
Metod je proveravan na deceniji finansijskih vesti i na više porodica point-in-time modela veličine od 1,3 do 4,2 milijarde parametara. Autori takođe navode da noviji checkpoint nije davao bolji rezultat na istom vremenskom prozoru od starijeg modela koji je zamenio.
Zašto je važno
Ako je model treniran na tekstovima objavljenim posle perioda koji se testira, istorijska procena može da bude pristrasna jer je model već mogao da vidi kasnije ishode.
Autori navode da prilagođavanje malim adapterom može da zameni potrebu za punim godišnjim pretreniravanjem u njihovom point-in-time pristupu.
Izvori
Prikazani su izvorni linkovi korišćeni za proveru objavljenih činjenica.
Komentari
Komentari se objavljuju nakon moderacije.
Još nema objavljenih komentara.