Viidestä avainsanasta pitäisi syntyä lyhyt keskustelumuistio. Tarvitaanko jokaiseen pyyntöön suurinta saatavilla olevaa kielimallia? Usein kannattaa ensin rajata tehtävä selkeästi ja kokeilla pienempää mallia.
Tavoiteltu tulos mahtuu muutamalle riville.
Kuvitteellinen puhelu kirjataan seuraavilla avainsanoilla: ”Asiakas kysyy toimitusaikaa, tarjous on olemassa, sisäinen selvitys kesken, vastaus huomenna.” Viestin on tiivistettävä sisältö ymmärrettävästi. Se ei saa keksiä toimituspäivää eikä muuttaa muistiinpanoja tilaukseksi tai hintalupaukseksi.
Tässä tehtävässä ratkaisevat kattavuus, tietojen oikea kohdistaminen ja puuttuvien tietojen käsittely. Erityisen laaja päättely tai suuri konteksti-ikkuna voi lisätä työtä tekemättä muistiosta hyödyllisempää.
Ensin hyväksymiskriteerit, sitten mallin valinta.
Testiaineisto ei sisällä vain hyvin kirjoitettuja esimerkkejä. Mukaan kuuluvat lyhenteet, kirjoitusvirheet, ristiriitaiset aikamääreet ja puuttuvat yhteyshenkilöt. Jokaisessa esimerkissä määritellään, mitä saa sisällyttää ja missä tarvitaan tarkentava kysymys.
Pienempi malli sopii tehtävään, jos se täyttää nämä vaatimukset luotettavasti. Ellei täytä, syy selvitetään: epäselvä syöte, sopimaton valmistelu, puuttuva validointi tai aidosti riittämättömät mallin kyvyt. Suurempi malli voi auttaa, mutta se ei ole taloudellisin ratkaisu jokaiseen virheeseen.
Hallittu reititin voi käsitellä tehtäviä eri tavoin.
Lyhyt keskustelumuistio voi kulkea eri käsittelyreittiä kuin monimutkainen sopimusanalyysi tai koodin tarkistus. Valinnassa huomioidaan suojaustarve, hyväksytyt palveluntarjoajat, laatu ja vastausaika. Jos tulos ei riitä, seuraa tarkentava kysymys tai määritelty eskalointi.
Varamalli ei saa aiheuttaa uutta kiellettyä tiedonsiirtoa. Asiantuntijan tarkistus ja budjettirajat pysyvät voimassa myös silloin, kun ensin valittu API ei ole tavoitettavissa.
Tokenien hinta on vain yksi laskelman rivi.
Edullinen kutsu voi tulla kalliiksi, jos työntekijät joutuvat usein korjaamaan tuloksia. Kalliimpi malli voi puolestaan olla kokonaisuutena järkevä, jos se suorittaa vaativan tehtävän huomattavasti vähäisemmillä korjauksilla. Vertailussa käytetään samaa tehtävää ja samoja laatuvaatimuksia.
- Käyttö
- Syötteen ja tulosteen kulutus, ylimääräiset työkalukutsut ja tarvittavat toistot.
- Laatu
- Aidosti käyttökelpoisten tulosten osuus ja kriittisten asiavirheiden seuraukset.
- Korjaustyö
- Tarkistukseen, korjauksiin, tarkentaviin kysymyksiin ja uudelleenkäsittelyyn kuluva aika.
- Ylläpito
- Integrointi, valvonta, päivitykset, rajoitukset ja häiriöiden käsittely.
Myös syötteitä voidaan parantaa.
Muistiota varten annetaan tarvittavat avainsanat, ei varmuuden vuoksi koko asiakashistoriaa. Selkeä tulostusmuoto helpottaa tarkistusta. Jos palvelu tukee sitä, toistuvat syötteen osat voivat hyötyä prompt caching -välimuistista. Välimuistiosuman syntyminen ja sen vaikutus on mitattava.
Asynkroninen eräkäsittely on toinen vaihtoehto tehtäville, joissa vastausta ei tarvita heti. Se sopii esimerkiksi paremmin valmisteltuun asiakirja-aineistoon kuin muistioon, jota tarvitaan jo keskustelun aikana.
Valmiiksi käytössä oleva kiinteä hinnoittelu ei tee odottamisesta ilmaista.
Jo maksetut käyttökiintiöt voivat vaikuttaa päätökseen. Tarpeettomat syötteet, ihmisten korjaustyö ja varattu kapasiteetti ovat silti olennaisia. Taloudellinen arkkitehtuuri mittaa kustannusta onnistuneesti suoritetulle tehtävälle ja tarkistaa sen uudelleen malli- tai tuotemuutosten jälkeen.
Aihekohtainen Tekoälyn kustannusoptimointi -sivu selittää mallien reitityksen, yhdyskäytävät ja paikallisen infrastruktuurin. Kokonaisten prosessien arvioinnissa Skripti, työnkulku vai tekoälyagentti? täydentää päätöksenteon pohjaa.
Lähteet: OpenAI: kustannusoptimointi · OpenAI: prompt caching · OpenAI: eräkäsittely. Ei yleisiä säästö- tai hintalupauksia.
