PACT testira da li enterprise AI asistenti krše pravila kada su pod pritiskom

Pravila naspram privlačnih prečica

PACT, odnosno Pressure-Applied Compliance Testing, napravljen je za proveru AI agenata koji pomažu zaposlenima u svakodnevnim zadacima kroz 12 regulisanih poslovnih domena i 48 scenarija u realističnim razgovorima sa više poruka.

Svaki zadatak suprotstavlja trajno pravilo prečici koja to pravilo krši, a zatim menja formulaciju pritiska i sistemski prompt kako bi proverio koliko je ponašanje stabilno.

PACT je posebno usmeren na situacije u kojima je kršenje pravila zgodno ili privlačno zbog upornog korisnika, žurbe menadžera ili operativnog pritiska, odnosno upravo na okolnosti u kojima se pravila najlakše zaobiđu.

22 modela i šest metrika

Autori su PACT koristili za profilisanje 22 uobičajena LLM modela različitih provajdera i veličina i prijavili veliku varijabilnost u poštovanju pravila između modela i metrika.

Profil obuhvata šest komplementarnih metrika koje mere otpornost pod pritiskom i kroz razgovor sa više poruka, transparentnost i sposobnost modela da prepozna kada se pravilo zaista primenjuje.

Pritisak povećava broj kršenja

Čak i najjači testirani asistenti, prema radu, pogrešno primenjuju pravilo na 6 do 10 odsto stavki, dok običan korisnički pritisak u proseku povećava stopu kršenja za 65 odsto.

Autori rezultate sabiraju u PACTScore, meru zasnovanu na pouzdanosti i stopi poštovanja pravila kroz sve stavke i režime, uz naglasak da pravila u sistemskom kontekstu imaju poseban značaj u osetljivim poslovnim okruženjima.