Kako preveriti rezultate umetne inteligence pred pošiljanjem: kontrolni seznam za preverjanje

E-poštno sporočilo stranki, ki ga je pripravila umetna inteligenca, lahko preverite tako, da pred pošiljanjem pregledate šest fiksnih polj – datume, imena, številke, cene, dejstva in ton – ter se ustavite, ko ima vsako ustrezno polje svoj vir, oziroma sporočilo popravite ali zavrnete, če katerega od njih ni mogoče preveriti. Vsako polje primerjajte z določenim internim zapisom, ne pa s tem, ali se vam osnutek zdi ustrezen. Če sporočilo vaše podjetje zavezuje k določenemu datumu, ceni ali dejanju, se mora ustaviti na stopnji človeške odobritve, ki je nikoli ne izpustite.

Ta odobritvena faza ni le previdnostni dodatek. Je ročna različica pravila, ki ga uporabljamo za vsako avtomatizacijo pri Niro Digital: "Rezultatom modelov nikoli ne zaupamo na slepo. Vsaka avtomatizacija vključuje deterministične preveritvene teste, proračunske omevijitve in človeško odobritev za nepovratna dejanja. Gradimo sisteme, v katerih se rezultati umetne inteligence obravnavajo kot trditve, ki morajo uspešno prestati preverjanja, preden veljajo za dokončane."

Noben kontrolni seznam ne zagotavlja 100-odstotne natančnosti rezultatov umetne inteligence. Odgovornost še vedno nosi človek, ki na koncu klikne gumb za pošiljanje.

Izhajajte iz ene predpostavke: vsak osnutek umetne inteligence je le trditev, dokler ne prestane preverjanja. Dokumentacija platforme Anthropic je glede razloga neposredna: "Tudi najnaprednejši jezikovni modeli, kot je Claude, lahko včasih ustvarijo besedilo, ki je dejansko napačno ali neskladno s podanim kontekstom."

Preveritvena faza je točka, na kateri mora rezultat uspešno prestati preverjanje, preden velja za dokončanega. Deterministično preverjanje je fiksni test po principu "opravil/padel", kot je na primer vprašanje "ali se ta datum dostave ujema z zapisom o naročilu?", in ne subjektivna ocena ob ponovnem branju stavka. Za izvajanje spodnjih preverjanj ne potrebujete tehničnega znanja.

Preglejte šest polj po vrstnem redu. Vsako polje ima en vir.

Kolikšen del kontrolnega seznama boste uporabili, je odvisno od namena osnutka. To opredeljujejo trije možni izidi:

• Zaveze do strank – ponudbe, cene, datumi, karkoli, kar ustvarja obveznost ali nosi ime vašega podjetja do stranke – zahtevajo celotno preverjanje vseh šestih polj in človeško odobritev pred pošiljanjem.
• Interni povzetki ali popravljivi zapiski (mesečni operativni povzetki, zgodnji osnutki, interna e-poštna sporočila, karkoli, kar bo tako ali tako ponovno pregledano) zahtevajo le ciljno naključno preverjanje polj, ki prinašajo operativno tveganje: datumi, številke, cene in imena strank. Pri osnutkih z nizkim tveganjem vam ni treba preverjati vsakega stavka.
• Vsak osnutek z operativno trditvijo, ki je ni mogoče preveriti, se ne pošlje, dokler se za to trditev ne najde vir v internem zapisu ali pa se jo odstrani.

Na koncu izberite eno od možnosti: Sprejmi – pošljite šele po človeški odobritvi, če sporočilo podjetje zavezuje k datumu, ceni ali dejanju. Popravi – odpravite napako in ponovno preverite prizadeta polja. Zavrni – začnite znova ali napišite ročno.

Postopek zaključite, ko vsako ustrezno polje uspešno prestane preverjanje z virom in sporočilo ne vsebuje nobenih zavez, ali ko naletite na polje, ki ga "ni mogoče preveriti", in se odločite za popravek ali zavrnitev. Preverjanje ni končano, ko se osnutek "dobro bere"; končano je takrat, ko nobeno od ustreznih polj ne ostane prazno.

Skrb, da bo preverjanje izničilo prihranek časa, je povsem upravičena. Naš odgovor temelji na meritvah. V naši študiji primera Lektobot je 400 predlogov šlo skozi preveritveni lijak na dejanskem magistrskem delu z 31.204 besedami, rezultat pa je bil 250 preverjenih komentarjev v 1 uri in 24 minutah, potem ko so prestali 11 neodvisnih preverjanj. Sistematično preverjanje je rutina, ne pisanje eseja.

Pri tem kontrolnem seznamu mejo postavljamo glede na popravljivost. Popravljivi osnutki lahko krožijo brez celotnega preverjanja: interni zapiski, zgodnji osnutki, razmišljanja na glas, skratka vse, kar bo tako ali tako ponovno pregledano. Nepovratna sporočila pa nikoli ne smejo oditi s praznim poljem: ponudbe, cene, datumi, zaveze, karkoli, kar ustvarja obveznost ali nosi ime vašega podjetja do stranke.

Predlagamo eno pravilo, ki je nad vsemi drugimi. Vsako sporočilo, ki podjetje zavezuje k določenemu datumu, ceni ali dejanju, je treba preveriti z internim zapisom in ga pred pošiljanjem eksplicitno odobriti s strani človeka. Te stopnje nikoli ne izpustite.

Potek dela je naslednji: osnutek umetne inteligence → preverjanje osnutka skozi šest polj → kakšna napaka? popravi ali zavrni → ali sporočilo zavezuje k datumu, ceni ali dejanju? Če ne, pošlji. Če da, človeška odobritev na podlagi internega zapisa pred pošiljanjem. Ta zadnji korak je tisti, ki ga nikoli ne izpustite.

To je ročna oblika tistega, kar naša storitev AI avtomatizacija gradi za ekipe, ki so pripravljene na avtomatizacijo: nadzorovani sistemi, kjer umetna inteligenca predlaga, fiksna preverjanja in človeška odobritev pa odločajo.

Tukaj je primer, oblikovan na podlagi napake, kakršno običajno opazi vodja operacij; ne gre za študijo primera stranke podjetja Niro Digital.

Osnutek umetne inteligence za dolgoletno stranko pravi: "Palete lahko dostavimo 18. septembra." V zapisu o naročilu ni navedenega datuma dostave, ker ga stranka še ni potrdila. Polje 1 (datumi), preverjeno z zapisom o naročilu, pade na testu. Datum je specifičen, verjeten in napačen.

Vredno je pojasniti, zakaj pride do tega. Anthropic v svojem tečaju poglavje o halucinacijah začenja z besedami: "Nekaj slabih novic: Claude včasih 'halucinira'." Halucinacija so informacije, ki so "dejansko napačne, izmišljene ali pa jih ni mogoče podkrepiti z razpoložljivimi podatki". Model "želi biti ustrežljiv in ponuditi odgovor, tudi ko nima dovolj informacij" – kar je natanko mehanizem, ki stoji za izmišljenim datumom dostave.

Anthropic v svojem tečaju navaja štiri pogoste scenarije halucinacij: vprašanja o specifičnih dejanskih informacijah, ki niso zajete v usposabljanju modela, poizvedbe o dogodkih po datumu zadnjih podatkov modela (knowledge cutoff), podrobna vprašanja o nejasnih temah z omejenimi razpoložljivimi informacijami ter vprašanja o neobstoječih entitetah ali konceptih. Datum dostave za določeno naročilo modelu med usposabljanjem seveda ni na voljo in se lahko nanaša na dogodek po njegovem datumu zadnjih podatkov, zato ga je treba preveriti z zapisom o naročilu.

Pravilo odločanja ostaja preprosto. Datum je edino polje, ki je padlo na testu, medtem ko je preostanek sporočila ustrezen, zato izberite popravi: popravite datum na podlagi zapisa o naročilu ali zapišite "datum bo potrjen naknadno", nato pa ponovno preverite prizadeto polje. Če bi imel osnutek tudi nepreverljivo ceno in napačno ime stika, izberite zavrni in ga napišite ročno. Možnost sprejmi izberite le takrat, ko vsako polje uspešno prestane preverjanje z virom in je bila opravljena človeška odobritev.

Spodnja navodila izhajajo iz objavljenih smernic podjetja Anthropic. Poskrbijo, da osnutek vsebuje več dokazov, preden ga preverite, vendar ne nadomeščajo kontrolnega seznama.

Zahtevajte priznanje negotovosti. Dokumentacija platforme Anthropic pravi: "Eksplicitno dajte modelu Claude dovoljenje, da prizna negotovost. Ta preprosta tehnika lahko drastično zmanjša količino napačnih informacij." V praksi: "Če ne poznaš datuma ali številke, reci, da ne veš."

Zahtevajte vire v obliki citatov. Za dolge izvorne dokumente Anthropic priporoča: "Pri nalogah, ki vključujejo dolge dokumente (>20k žetonov), prosite model Claude, naj najprej izpiše dobesedne citate, preden izvede svojo nalogo. To njegove odgovore utemelji v dejanskem besedilu, kar zmanjšuje halucinacije." V praksi: "Preden pripraviš osnutek, citiraj stavke iz zapisa o naročilu, ki jih uporabljaš."

Dajte modelu možnost izbire. Anthropic v svojem tečaju opisuje tehniko, imenovano "dati modelu Claude možnost izbire" (giving Claude an out): modelu eksplicitno povemo, da lahko zavrne odgovor, če nima dovolj informacij, kar preprečuje izmišljanje podatkov. V praksi: "Če se v zapisih ne pojavi noben datum dostave, zapiši 'datum ni v zapisih' in se ustavi."

Navodila zmanjšujejo napake pri viru. Kontrolni seznam s šestimi polji ostaja zadnja obrambna linija, saj lahko samozavestno napisan osnutek še vedno vsebuje datum, ki ga ni v zapisu.

Številke kažejo, da preverjanje ne more izničiti hitrosti, ki jo prinaša umetna inteligenca. Naša študija primera platforme z agenti za vsebino poroča o 14-stopenjskem cevovodu s 15 determinističnimi validatorji, ki pokrivajo citate, vire, navedke, povezave in prepovedane trditve; en zagon je ustvaril članek s 3.046 besedami z navedenimi viri za $0.37 v 24 klicih modela. Bistvo ni v ceni. Bistvo je v zasnovi: 15 fiksnih preverjanj se izvede na vsakem rezultatu, preden velja za dokončanega, namesto enega samega natančnega branja s strani že tako zaposlenega človeka.

Ta zasnova ima svoje ime. Nadzorovani sistem z agenti je sistem, v katerem model predlaga, fiksna preverjanja in človeška odobritev pa odločajo. Kontrolni seznam v tem članku je ročna različica; produkcijska različica pa se zgradi tako, da se najprej preslika delovne procese podjetja.

Za kontekst: štiri glavne storitve podjetja Niro Digital so AI avtomatizacija, razvoj programske opreme po meri, oglaševanje za zaposlovanje in oglaševanje za pridobivanje prodajnih kontaktov (lead generation); storitev AI avtomatizacija preslika delovne procese podjetja in zgradi nadzorovane sisteme umetne inteligence z vgrajenim preverjanjem in človeško odobritvijo. Ta kontrolni seznam je prilagoditev objavljene doktrine preverjanja podjetja Niro Digital in varoval, opisanih v študijah primerov agentov za vsebino ter Lektobot; gre za pripomoček pri odločanju, ki ni bil neodvisno testiran.

Uporabite kontrolni seznam pri svojih naslednjih treh osnutkih umetne inteligence. Zapišite si, kaj posamezno preverjanje odkrije. Po treh poskusih poglejte vzorec. Če isto polje nenehno javlja napako, je to prvi kandidat za avtomatizacijo.

Noben kontrolni seznam ne zagotavlja 100-odstotne natančnosti. Odgovornost še vedno nosi človek, ki na koncu klikne gumb za pošiljanje. Spretnost, od katere je ta metoda odvisna, že imate – napačen datum dostave bi opazili tudi brez kontrolnega seznama. Ta članek le poskrbi, da ta instinkt postane ponovljiv.

Uporabite ta kontrolni seznam pri svojih naslednjih treh osnutkih umetne inteligence. Nato nam pišite, kaj ste ugotovili – pomagali vam bomo določiti prvi korak digitalizacije, s katerim bo to preverjanje postalo samodejno. Pišite nam prek kontaktne strani na info@nirodigital.com ali nas pokličite na +386 70 630 880.