Kako smo znižali strošek članka z viri in oceno, ki ga je napisala umetna inteligenca, z $8.40 na $0.37

En dan stroškovnega inženiringa je znižal porabo za model za posamezen članek z viri in oceno z $8.40 na $0.37. Ta znesek $0.37 ni celoten strošek – pokriva natanko 24 klicev modela znotraj enega zagona našega cevovoda z agenti za vsebino. Vsaka številka v tem poročilu izhaja iz objavljene študije primera platforme, ki piše ta blog, in nič tukaj ni tržni standard ali obljuba, da enaka krivulja stroškov velja za vaš delovni proces.

Spodnja tabela prikazuje vsako stroškovno številko, ki jo študija primera objavlja o platformi, in tisto, ki smo jo izpeljali sami zaradi matematične preglednosti. Študija primera poroča o mesečnem skupnem znesku približno $5 za stranko pri treh objavah na teden, vendar ne prikazuje množenja – to vrstico smo dodali mi, da se številke ujemajo.

Poraba modela je dobesedni strošek računanja, plačan ponudnikom modelov za 24 API klicev v enem zagonu. Ne vključuje ničesar drugega. Spodnja tabela ločuje, kaj je vključeno v znesek $0.37 in kaj ostaja zunaj njega – ter opozarja na razčlenitev po stopnjah, ki je študija primera nikoli ne razkrije.

Poraba modela plača inferenco. Vse ostalo – oseba, ki prebere osnutek, infrastruktura, ki poganja validatorje, čas, porabljen za inženiring cevovoda – je ločen strošek, za katerega nimamo objavljene številke.

Izhod modela obravnavamo kot trditev, ki mora opraviti preverjanja, preden velja za dokončano. To je doktrina za vsako avtomatizacijo, ki jo zgradimo. Za platformo z agenti za vsebino imajo ta preverjanja obliko 15 determinističnih validatorjev. Deterministični validator je pravilo, ne nov klic modela – preverja, ali citati obstajajo, ali viri delujejo, ali se navedki ujemajo z izvirniki, ali so povezave delujoče in ali ni prepovedanih trditev. Vsak validator vrne rezultat "opravljeno" ali "neopravljeno". Uteženo vrednotenje nato oceni devet dimenzij kakovosti, človeška odobritev pa stoji pred vsakim nepopravljivim dejanjem, kot je objava članka.

To je enak vzorec, kot ga opisuje naša storitev avtomatizacije z UI: preslikamo delovne procese podjetja in zgradimo nadzorovane sisteme agentov – sisteme, kjer se izhod modela deterministično preveri in nato odobri s strani človeka, preden lahko vpliva na svet. Verifikacijska vrata so natanko tista kontrolna točka, kjer človek ali deterministično pravilo potrdi izhod, preden se cevovod nadaljuje.

Objavljena študija primera ne poroča, koliko človeških minut zahteva tipičen članek, nam pa pove število verifikacijskih ravni. Vsakič se zažene petnajst validatorjev in uteženo vrednotenje, izhod pa čaka na odobritev. Številka $0.37 je dejanska poraba modela; ne pomeni pa ničelnega človeškega dela.

Porabo modela smo znižali z $8.40 na $0.37. Objavljeni zapis navaja trenutno število stopenj v cevovodu – 14 stopenj in 15 validatorjev – vendar ne opredeljuje, katere stopnje, klici ali preverjanja so se spremenili med enodnevno optimizacijo. Zato ne dokazuje, kaj, če sploh kaj, je bilo odstranjeno ali spremenjeno za dosego nižje porabe modela. Objavljeni zapis v ozadju tega članka ne razkriva razčlenitve stroškov po stopnjah niti ne opredeljuje, kateri klici so se spremenili med optimizacijo. Razpoložljivi zapis potrjuje rezultat porabe modela pred in po, ne pa specifičnih vzvodov optimizacije ali njihovih kompromisov glede kakovosti. Iz objavljenih dokazov ne moremo prikazati, kateri klici, pozivi, stopnje ali izbire modelov so povzročili to znižanje.

Študija primera kaže, da platforma ustvarja članke za ta blog; ne dokazuje pa, da je platforma na voljo kot samostojen izdelek za druge ekipe. Ta članek ne ponuja povezanih primerov izhodov, zato ne more neodvisno dokazati uredniške kakovosti ali dejanske zanesljivosti sistema. Študija primera ne dokazuje, da se enaka ekonomika prenese na drug delovni proces, in nobena objavljena številka ne opredeljuje časa za človeški pregled ali inženirskega truda, ki bi ga potrebovali za zagon podobnega cevovoda za vašo vsebino. Če tri objave na teden tukaj stanejo približno $5 porabe modela, vam ta številka pove le, koliko stanejo modeli v našem cevovodu, konfiguriranem za našo vrsto vsebine, z našimi standardi ocenjevanja.

Ni vam treba biti inženir, da preberete študijo primera in se odločite, ali je pristop smiseln za vaš kontekst. Toda za njegovo replikacijo bi potrebovali bodisi lasten inženiring bodisi partnerja, ki gradi nadzorovane sisteme agentov.

Želimo biti jasni glede omejitev številk, ki ste jih prebrali:

• Brez celotnega stroška. Čas za človeški pregled, naročnine na orodja in inženirski dnevi niso vključeni v nobeno tukaj navedeno dolarsko številko. Noben pridobljeni vir jih ne opredeljuje.
• Brez tržne primerjave. Nismo črpali primerjav tretjih oseb, industrijskih povprečij ali cenovnih razponov na članek drugih ponudnikov. To je poročilo iz prve roke o krivulji stroškov enega sistema.
• Brez obljube o prenosljivosti. Številka $0.37 opisuje en zagon ene platforme za eno vrsto članka, s specifičnimi preverjanji kakovosti in specifičnim inženiringom pozivov. Ta ekonomika se morda ne bo prenesla na vaš delovni proces.

Če ste prebrali do sem, imate uradne podatke, eno izpeljavo in poštene omejitve. Preberete lahko celotno študijo primera agent-agencija, da si ogledate tehnično razčlenitev. Če želite to ekonomiko preslikati na svoj delovni proces vsebine – z vašo vsebino, vašimi merili kakovosti in vašim proračunom – rezervirajte strateški klic.