AI audita pieraksts, kas iztur pārbaudi
Pieraksts, kas pēc pusgada atbild uz jautājumu „kas te notika". Piecas lietas, kam tajā jābūt, un kāpēc lasāms ir labāk nekā pilnīgs.
AI audita pieraksts ir tas ieraksts, kas pēc pusgada atbild uz jautājumu „kas te notika?", kad konteksts jau ir pazudis. Tam jābūt neatkarīgam no paša aģenta stāsta par notikumiem: 2025. gada Replit gadījumā asistents ražoja izdomātus rezultātus un nepareizi ziņoja, ka atgriešana nav iespējama, kavējot atgūšanos. Ja vienīgais pieraksts ir tas, ko sistēma saka par sevi, jums nav automatizēta procesa — jums ir neauditējams process.
Kāpēc AI audita pieraksts ir svarīgāks par cilvēka pierakstu?
Tāpēc, ka neformālie pierādījumi, ko cilvēks atstāj aiz sevis, neeksistē, kad darbu deviņās sekundēs izdara sistēma.
Kad cilvēks gatavo atskaiti, pēdas ir netiešas, bet īstas: faili tika atvērti, vēstulē tika pajautāts par nesakritību, kolēģis atceras sarunu. Izkaisīti, bet ir. Kad to izdara sistēma, nekas no tā nepastāv, ja vien tas nav apzināti pierakstīts. Nav vēstules, nav atmiņas, nav kolēģa.
Tāpēc arī „modelim tika dotas labas instrukcijas" nav pierādījums. Instrukcijas apraksta nodomu; pieraksts apraksta notikušo. Tikai otrais izšķir jautājumu pēc fakta — tā pati atšķirība, kas rakstā kad instrukcija nav aizsargmehānisms izšķir, vai noteikums ir īsts ierobežojums.
Kuri jautājumi atnāk vēlāk?
Vienmēr tādas pašas formas un vienmēr pēc tam, kad konteksts pazudis: revidents jautā, kā tika atjaunināts kontrolēts dokuments; vadītājs jautā, kāpēc klients saņēma tieši tādu atbildi; kolēģis jautā, kāpēc šī mēneša skaitlis uzlēca; jūs jautājat, kāpēc pagājušās otrdienas izpilde neko neizdarīja.
Neviens neatceras, kā martā izskatījās avota fails. Cilvēks, kurš rutīnu uzstādīja, pārgāja citā komandā. AI pakalpojums izlaida jaunu modeļa versiju. Tajā brīdī pieraksts vai nu ir konkrēts, vai atbilde ir rekonstrukcija — pieklājīgs vārds minējumam.
Kam jābūt AI audita pierakstā?
Piecām atbildēm, bez cilvēka, kas robus aizpilda no atmiņas:
- Uzdevums, kā tas saprasts — pārstāstītais tvērums, ar kuru sistēma strādāja, ne neapstrādāts pieprasījums. Lielākā daļa strīdu ir pārpratumi, un šī rinda tos parasti izšķir dažās sekundēs.
- Kas tika lasīts — kuri faili, sistēmas un lauki un kurā laikā. „Pārdošanas datubāze" nav pietiekami, kad jautājums ir, kāpēc skaitlis mainījās; pamatā esošie dati kopš tā laika ir aizgājuši tālāk.
- Kas tika darīts, secībā — katra darbība pēc kārtas, tik daudz, lai lasītājs varētu izsekot ceļam, nevis to izsecināt.
- Kas tika nolikts rindā pie cilvēka un kurš izlēma — apstiprinājuma punkts, kas tajā brīdī tika rādīts, kurš parakstīja un kad. Tas atdala „sistēma nosūtīja" no „nosaukts cilvēks apstiprināja nosūtīšanu", un tas parasti ir īstais jautājums.
- Kas bija neskaidrs vai neizdevās — nepieejami avoti, lauki, kas nesakrita, atkārtojumi, izlaisti soļi. Pieraksts, kurā ir tikai panākumi, ir uzvarētāja rakstīts kopsavilkums.
Kāpēc lasāms ir labāk nekā pilnīgs?
Tāpēc, ka pieraksts, ko neviens nevar izlasīt, lietošanā maksā vairāk, nekā ir vērts. Kad revidents uzdod savu jautājumu, 40 000 rindu atkļūdošanas žurnāls nozīmē, ka kāds pavada dienu, ražojot atbildi, par kuru viņš nav pārliecināts.
Mērķējiet uz pierakstu, kam kompetents kolēģis var izsekot bez apmācības: saprotama valoda, viena rinda uz jēgpilnu soli, laika zīmogi un iespēja katru soli izvērst. Detalizēti tehniskie žurnāli var būt zemāk inženieriem, bet slānim, kas atbild uz biznesa jautājumiem, jābūt lasāmam biznesam.
Pārbaude ir vienkārša. Iedodiet to kādam, kurš nebija iesaistīts, un pajautājiet, kas notika. Ja viņš divās minūtēs var pateikt, tas strādā.
Kur pierakstam jādzīvo?
Divas īpašības ir vērts izlemt apzināti.
Blakus darbam un jūsu kontrolē. Pieraksts, ko tur tikai trešā puse, ir tāds, kuram varat zaudēt pieeju, kad beidzas līgums, vai kas atnāk kā izgūts fails brīdī, kad tas bija vajadzīgs dzīvs pārbaudes laikā.
Grūti klusi izmainīt. Ne tāpēc, ka gaidītu ļaunprātību, bet tāpēc, ka pieraksts, ko var pielabot bez pēdām, atbild uz vājāku jautājumu. Tikai pievienošana un glabāšanas termiņš, kas atbilst jūsu pienākumiem, izdara lielāko daļu darba.
Kvantia Harness to uzskata par produkta daļu, ne piedevu: AI darbinieks uz datora, kas ir jūsu uzņēmuma kontrolē, kur katra izpilde pieraksta, kas tika lasīts, kuri rīki lietoti, kuras darbības veiktas, kuras noliktas apstiprinājuma rindā un kas bija neskaidrs — saprotamā valodā, glabāts uz jūsu datora. Kā tas strādā parāda, ko atstāj viena izpilde.
Ko labs pieraksts maina ikdienā?
Vairāk nekā atbilstību, un tas to novērtē par zemu.
Pārbaude kļūst par izlases pārbaudi. Kad izpilde pasaka, kuri trīs lauki nesakrita, pārbaude ir trīs lauki — ne viss dokuments ar pieņēmumu, ka nepareizs var būt jebkurš. Tā ir atšķirība starp pārbaudi, kas maksā minūtes, un tādu, kas maksā stundas, un tieši tur aiziet lielākā daļa laika, kas pavadīts, pārbaudot AI iznākumu.
Kļūmes kļūst diagnosticējamas. „Otrdien tas nenostrādāja" kļūst par „avota sistēma plkst. 6:00 neatbildēja, un rutīna apstājās, nevis turpināja ar novecojušiem datiem" — labojums, ne noslēpums.
Deleģēšana kļūst droša. Cilvēks var atdot rutīnu, par kuru viņš atbild, jo viņš var redzēt, kas notika, to neskatoties. Tieši tas, ne pati automatizācija, ļauj kādam pārstāt procesu nēsāt galvā.
Robeža paliek godīga. Pieraksts, kurā nosaukts, kad tika lietots ārējs AI pakalpojums un kas tika nosūtīts, saka patiesību par sistēmu, nevis tās mārketinga versiju.
Viena jautājuma pārbaude
Pēc pusgada, kad kāds pajautās, kas notika šajā konkrētajā izpildē, kur es skatīšos — un vai atbilde būs pietiekami konkrēta, lai to aizstāvētu?
Ja tas ir dokuments, kas jums būtu jārekonstruē, rutīna nav gatava darbam, par ko kādam būs jāatbild.