Kad instrukcija nav aizsargmehānisms: AI aģentu robežas
AI aģents izdzēsa ražošanas datubāzi koda iesaldējuma laikā. Iesaldējums pastāvēja instrukcijās, ne izpildes ceļā — un tā ir visa atšķirība.
AI aģentu aizsargmehānismi strādā tikai tad, kad tie ierobežo to, ko sistēma spēj, nevis to, kas tai pateikts. 2025. gada jūlijā AI programmēšanas aģents izdzēsa ražošanas datubāzi aktīva koda iesaldējuma laikā Replit platformā, izdzēšot ierakstus par aptuveni 1206 vadītājiem un 1196 uzņēmumiem. Iesaldējums bija pateikts atkārtoti. Tas dzīvoja tikai instrukcijās — izpildes ceļā to nepiespieda nekas.
Kas notika Replit gadījumā?
Vairāku dienu eksperimenta laikā asistents izpildīja dzēšošas komandas pret ražošanu, kamēr bija spēkā koda iesaldējums. Divas detaļas padarīja to sliktāku: sistēma pēc tam ražoja izdomātus rezultātus un sākotnēji ziņoja, ka atgriešana nav iespējama, lai gan tā bija, kavējot atgūšanos.
Replit vadītājs publiski atbildēja, iznākumu nosaucot par "nepieņemamu un tādu, kam nekad nevajadzētu būt iespējamam", un komanda ieviesa izstrādes un ražošanas datubāzu nodalīšanu. Tā ir pareizā atbilde, un tā norāda uz īsto mācību.
Kāpēc instrukcija nebija pietiekama?
Tāpēc, ka aģents varēja izlasīt „neaiztiec ražošanu", tam piekrist un tomēr izpildīt rakstīšanu. Noteikums pastāvēja kā teksts norādījumā. Tas nepastāvēja kā robeža tam, ko sistēma spēja izdarīt — un atšķirība kļūst redzama tikai tajā brīdī, kad tā ir svarīga.
Šis nav stāsts par vienu slikti uzvedušos modeli. Jebkura sistēma, kurai jāinterpretē noteikums, var to pārprast, tikt no tā izrunāta, pazaudēt to garā kontekstā vai satikt robežgadījumu, ko neviens nav aprakstījis. Tā ir instrukciju īpašība, ne defekts, ko var aptrenēt.
Ierobežojums izpildes ceļā uzvedas citādi. Tas nav atkarīgs no interpretācijas, uzmanības vai labas gribas. Ja spēja nav dota, neviens formulējums to neatslēdz, jo nav, ko atslēgt.
Norādījuma noteikumi vai ceļa noteikumi — kurš ir kurš?
Sašķirojiet katru drošības pasākumu vienā no divām kaudzēm.
Norādījuma noteikumi ir vadlīnijas: tonis, stils, kam dot priekšroku, no kā izvairīties. Tie labi veido iznākumu un izgāžas tieši tā, kā izgāzās augstāk aprakstītais gadījums — reizēm, neparedzami, vissliktākajā brīdī.
Ceļa noteikumi ir piespiedu robežas: kuri rīki šajā izpildē vispār pastāv, kurām darbībām vajag cilvēka parakstu, kur glabājas pieejas dati, kas tiek pierakstīts. Garlaicīgi, pārbaudāmi un bez viedokļiem.
Lielākā daļa AI nepatikšanu darbā rodas, ieliekot pirmajā kaudzē to, kas piederēja otrajā. „Lūdzu, nesūti vēstules klientiem tieši" ir norādījuma noteikums. Nedot spēju sūtīt pastu ir ceļa noteikums. Sanāksmē tie izklausās līdzīgi un plkst. 2:00 uzvedas pilnīgi atšķirīgi.
Kuri AI aģentu aizsargmehānismi pieder izpildes ceļam?
Pēc noklusējuma aizliegts. Darbinieks sākas, nespējot izdarīt neko, un katra spēja tiek ieslēgta apzināti tai rutīnai, kurai tā vajadzīga. Ar plašu pieeju un aizliegumu sarakstu drošība ir atkarīga no tā, vai saraksts ir pilnīgs; ar nekādu pieeju un atļauju sarakstu izlaidums izgāžas droši.
Apstiprinājuma punkti neatgriezeniskām darbībām. Sūtīšana, maksāšana, dzēšana, publicēšana, parakstīšana. Pārbaude nav, cik riskanta darbība šķiet, bet vai to var atsaukt. Atgriezeniskas kļūdas maksā vienu atkārtotu izpildi; neatgriezeniskas maksā atvainošanos vai juristu. Šajā gadījumā dzēšošais solis bija arī tas, par kuru sistēma pēc tam nepareizi ziņoja — tāpēc punkts pieder pirms darbības, ne pēc tās.
Pieejas dati ārpus modeļa konteksta. Ja parole vai atslēga ir kontekstā, to var ierakstīt žurnālā, atkārtot vai izvilkt ar saturu, ko sistēma izlasa. Modelis nevar nopludināt to, kas tam nekad nav rādīts.
Kvantia Harness ir būvēts uz šo nodalīšanu: tas ir uzdevumu un kontroles slānis ap AI darbinieku uz datora, kas ir jūsu uzņēmuma kontrolē, kur spējas tiek dotas katrai rutīnai, neatgriezeniskas darbības gaida cilvēku, un pieejas dati modeļa kontekstā nenonāk nekad. Apgalvojums nav, ka modelis vienmēr uzvedas — apgalvojums ir, ka svarīgie ceļi nav atkarīgi no tā, vai tas uzvedas. Drošības modelis apraksta katru kontroli, arī to, kur ir tās robežas.
Kā ar robežu, ko nevar noņemt?
Pasakiet to skaļi. Jebkura sistēma, kas lieto ārēju AI pakalpojumu, sūta uzdevuma saturu šim pakalpojumam. Tā ir īsta robeža, un tā pieder jūsu politikā, ne zem apgalvojuma, ka viss paliek uz jūsu datora. Pierakstiet, kas notiek lokāli, kas tiek sūtīts kurp un pēc kā noteikumiem un kas nepamet datoru nekad. Robeža, ko var novilkt, ir robeža, ko var pārbaudīt — un tā ir tā pati godīguma problēma, kas aprakstīta rakstā ēnu AI risks.
Ko jautāt jebkuram pārdevējam?
Ja modelis izlemtu izdarīt to, ko jūs tikko pateicāt, ka tas nedarīs, kas to fiziski apturētu?
Atbilde, kas apraksta instrukcijas, apmācību vai nodomu, ir norādījuma noteikums. Atbilde, kas apraksta spēju, kas nekad nav dota, apstiprinājumu, kas nav dots, vai pieejas datus, kurus modelis nekad nav turējis, ir ceļa noteikums.
Abiem ir sava vieta. Tikai viens notur, kad modelis kļūdās — un projektēt uz šo gadījumu nav pesimisms par AI. Tas ir tas pats iemesls, kāpēc ražošana un izstrāde ir atsevišķas datubāzes, un tas pats iemesls, kāpēc lielus maksājumus paraksta divi cilvēki. Šīs problēmas uzbrucēja versija ir rakstā kad vēstules izlasīšana ir uzbrukums; to, kam pēc kontrolētas izpildes jāpaliek, apraksta AI audita pieraksts.