Rad posmatra generacije AI modela kroz principe populacione genetike

Modeli kao populacija kroz generacije

Autor polazi od praksi u kojima se modeli specijalizuju, ponovo treniraju na izlazima drugih modela ili kombinuju prosečavanjem težina i tvrdi da takvi procesi stvaraju generacije modela u smislu sličnom onome koji proučava populaciona genetika.

Minimalni model učenika koji se ponovo trenira na izlazu roditelja, prema radu, tačno reprodukuje Wright-Fisher proces, dok je rekurzivno treniranje na izlazima modela povezano sa pojavom model collapse-a i analogijom sa genetičkim driftom.

Rad ovu paralelu formalizuje kroz pojmove seksualne i aseksualne reprodukcije modela, pokušavajući da spoji terminologiju razvoja AI sistema sa matematičkim aparatom populacione genetike umesto da ostane samo na metafori.

Šta se dešava kada se modeli kombinuju

Treniranje deteta na proseku izlaza roditelja poništava korist od više roditelja, dok kombinovanje roditelja tako da svaki zadrži svoj najjači doprinos čuva tu prednost.

U eksperimentima su spojeni specijalizovani jezički modeli nadmašili svakog pojedinačnog roditelja kroz više seed vrednosti, što autor povezuje sa Fisher-Muller efektom.

Uloga novih realnih podataka

Dodavanje verifikovanih realnih podataka svakoj generaciji posmatra se kao analogija imigraciji; rad navodi da je važan apsolutni broj takvih uzoraka, a ne njihov udeo u ukupnim podacima.

Autor navodi da je analogije testirao u tačnom modelu nasleđivanja, treniranim rekurentnim i feedforward mrežama, VAE generatorima i velikim jezičkim modelima, uz merljive razlike zavisne od arhitekture.

Prema autoru, rezultati se pojavljuju u više tipova modela, ali postoje i merljiva odstupanja koja zavise od arhitekture, pa analogija nije predstavljena kao potpuno identično ponašanje svih AI sistema.