WARD prilagođava Vision Transformer uslovima rada edge AI uređaja u realnom vremenu
Istraživači su predstavili WARD, okvir koji istovremeno menja performanse, potrošnju i pouzdanost Vision Transformera prema trenutnim uslovima rada na edge hardveru.
Edge AI radi u promenljivim uslovima
AI sistemi na edge uređajima rade pod promenljivim energetskim budžetima, zahtevima pouzdanosti i raspodelama ulaza, što zahteva stalno prilagođavanje tokom rada.
Postojeće metode tolerancije na greške često pretpostavljaju statične uslove, dok pristupi continual learning-u zanemaruju hardverske greške koje se mogu pojaviti tokom onlajn prilagođavanja.
Četiri režima rada
WARD kombinuje podelu podmreža po kanalima, continual learning svestan pouzdanosti i dinamičko raspoređivanje režima rada kako bi zajednički optimizovao performanse, toleranciju na greške i prilagođavanje.
Dve fizički izolovane podmreže rade kroz četiri režima — Full-Precision, Low-Power, High-Reliability i Adaptive — koji menjaju računarski trošak i pouzdanost bez prekidanja inferencije u realnom vremenu.
Test na FPGA akceleratoru
Autori su WARD implementirali na laganom FPGA akceleratoru proširenom hardverskom podrškom za raspoređivanje režima i upravljanje resursima.
Implementacija dodaje manje od 5 odsto površinskog overhead-a i menja režime u svega nekoliko taktova, dok eksperimentalni split dizajn pri visokoj stopi bit grešaka postiže mrežnu stopu otkaza od 1,79 odsto.
Izvori
Prikazani su izvorni linkovi korišćeni za proveru objavljenih činjenica.
Komentari
Komentari se objavljuju nakon moderacije.
Još nema objavljenih komentara.