Studija pokazuje da negativan preconditioning exponent nije univerzalno najbolji izbor za optimizer
Kontrolisani eksperimenti kroz više okruženja ukazuju da efekat negativnog preconditioning exponenta zavisi od zajedničkog delovanja learning rate-a i raspodele koraka.
Test kroz četiri okruženja
Autori koriste kontrolisan classification problem sa četiri uparena okruženja, stabilnim sparse osobinama, environment-dependent spurious osobinama, gustim signalima i visokodimenzionalnim šumom.
Rezultati pokazuju da negativna vrednost exponenta p nije univerzalno optimalna postavka.
Learning rate i preconditioning rade zajedno
Autori negativan p opisuju kao režim alokacije pri visokom koraku koji nastaje zajedničkim delovanjem learning rate-a i preconditioninga.
U njihovim fitovima nagibi se kreću približno od minus 0,270 do minus 0,300, uz R kvadrat između 0,972 i 0,996.
Izvori
Prikazani su izvorni linkovi korišćeni za proveru objavljenih činjenica.