Hibridni sistem poziva LLM samo kada je jeftiniji model nesiguran u prepoznavanju emocija

Tri načina za prepoznavanje emocija

Autori porede tri opcije za prepoznavanje emocija u razgovoru: jeftin stacked ensemble, direktno promptovanje LLM-a i confidence-gated hibrid koji velikom modelu prosleđuje samo procene za koje je ansambl najmanje siguran.

Nijedan čisti pristup nije najbolji svuda

Na IEMOCAP skupu ansambl značajno nadmašuje sve testirane LLM konfiguracije, dok se na MELD i CMU-MOSI skupovima poredak preokreće, pa autori zaključuju da nijedan čisti pristup nije bezbedan podrazumevani izbor za sva okruženja.

Hibridni sistem postiže weighted F1 vrednosti 0,620, 0,643 i 0,824 na tri skupa, dok većinu saobraćaja zadržava na gotovo besplatnom ansamblu.

Na IEMOCAP-u ansambl je, prema radu, radio sa latencijom ispod 10 milisekundi uz rezultat 0,595 weighted F1, dok su testirane LLM konfiguracije bile u rasponu od 0,460 do 0,536, što pokazuje zašto je autorima važna selektivna eskalacija umesto stalnog pozivanja velikog modela.

Trošak i signal za eskalaciju

Prema proračunu u radu, takav hibrid odgovara približno trošku od 10 do 85 dolara na milion iskaza, naspram 99 do 170 dolara za cevovod koji koristi samo LLM.

Autori navode da eskalirane poruke nesrazmerno često dolaze posle promene emocije ili sentimenta, pa confidence signal može da posluži kao objašnjiv i proverljiv kriterijum za rutiranje.

Obrazac je, prema studiji, potvrđen na tri skupa podataka i kod dva LLM provajdera.