T-RoPE dodaje stvarno vreme u pozicione embeddinge za velike recommendation modele
Novi pristup prilagođava Rotary Position Embedding sekvencijalnim recommenderima tako da kodira proteklo vreme, višeskalne cikluse i kalendarsku fazu, a ne samo redni broj interakcije.
Redosled događaja nije isto što i vreme
Autori ističu da RoPE u jezičkim modelima kodira indeks tokena, ali da u recommendation sistemu indeks interakcije govori samo o redosledu, ne o proteklom vremenu, ciklusima ponašanja ili kalendarskoj fazi.
Pokazuju da standardni RoPE ostaje time-translation invariant čak i kada dobije timestamp, dok T-RoPE prekida tu invariancu uz očuvanje RoPE interfejsa.
Test na više od šest milijardi interakcija
Na industrijskom e-commerce skupu sa više od šest milijardi interakcija T-RoPE je prema autorima poboljšao sve metrike u odnosu na HSTU + Time RAB baseline za 13 do 82%.
Ablation analiza najveći deo dobitka pripisuje multiscale frekvencijama, sa plus 56% NDCG@50, dok non-stationary keys dodaju oko 4%.
Dodatni trošak forward i backward algoritma ostaje linearan u dužini sekvence i dimenziji heada.
Izvori
Prikazani su izvorni linkovi korišćeni za proveru objavljenih činjenica.