Nopea vastaus yhteen lyhyeen kysymykseen osoittaa, että paikallinen kielimalli toimii periaatteessa. Infrastruktuuripäätöstä varten tulevia tehtäviä ja niiden todellista kuormaa vastaava testi kertoo paljon enemmän. Siihen kuuluvat vastausten laatu, odotusajat, pitkät syötteet, samanaikainen käyttö ja toiminta virheen jälkeen.
Pilotti on erityisen hyödyllinen, kun sen tuloksen mahdollistama päätös määritellään etukäteen. Esimerkiksi: riittääkö nykyinen ympäristö, tarvitaanko toisenlainen laitteisto vai sopiiko ulkoinen tai hybridipalvelu paremmin? Testisuunnitelma perustuu tähän kysymykseen.
Aloita pienellä, edustavalla tehtäväjoukolla
Sopivat testitehtävät tulevat suunnitellusta työnkulusta: lyhyt asiakysymys, pidemmän hyväksytyn asiakirjan tiivistäminen tai tarkistettava skriptiluonnos. Jokaiselle tehtävälle määritellään käyttökelpoisen tuloksen tunnusmerkit.
Tietokysymyksiin kuuluvat odotetut lähteet ja tapaukset, joissa perusteet eivät riitä. Koodi tarvitsee asiantuntijatarkistuksen ja sopivat testit. Luottamuksellisia alkuperäistietoja käytetään vain siihen hyväksytyssä ympäristössä; valmisteluun voivat riittää asianmukaisesti puhdistetut tai erikseen laaditut testitiedot.
Arvioi laatu ja nopeus erikseen
Malli, joka tuottaa nopeasti vääriä tuloksia, ei täytä tavoitetta. Siksi ensin arvioidaan käytännön hyödyllisyys, tarvittavat korjaukset ja puuttuvien tietojen käsittely. Sen jälkeen voidaan vertailla tämän laadun saavuttamiseen tarvittavaa vastausaikaa ja työtä.
Malliversio, kvantisointi, inferenssiohjelmisto, asetukset ja testitiedot kirjataan. Muuten nopeampi vastaus voi perustua muuttuneeseen tehtävään tai eri laatutasoon. Myös muuttuva asiakirjakokoelma voi vaikuttaa RAG-sovelluksen vertailuun.
Jaa odotusaika osiin
- Aika ensimmäiseen tokeniin
- Se kertoo, milloin tulostus alkaa. Jonotus ja syötteen käsittely voivat vaikuttaa aikaan. Lisäksi kannattaa mitata käyttäjän kokema aika pyynnön lähettämisestä sovelluksessa näkyvään vastaukseen.
- Vastauksen tuottaminen
- Generoinnin nopeus vaikuttaa pitkän vastauksen valmistumisaikaan. Palvelimen suuri kokonaisläpimeno ei yksin kerro, kuinka nopeasti yksittäinen käyttäjä saa vastauksensa.
- Kokonaiskesto
- Se kattaa koko sovellustoiminnon. Haku, asiakirjojen valmistelu, työkalukutsut ja verkkoreitit voivat lisätä aikaa.
- Vaihtelu ja virheet
- Tyypillisiä arvoja tarkastellaan yhdessä hitaampien reunatapausten kanssa. Mittausten määrä, aikakatkaisut ja keskeytyneet tehtävät kuuluvat tulokseen.
Virallinen vLLM-mittaridokumentaatio (ulkoinen linkki) erottelee muun muassa odotus-, syöte- ja tulostusmittauksia. Käytettävän suoritusympäristön tarjoamat mittarit tarkistetaan kyseiselle versiolle. Eri komponenttien mittausten on kuvattava samaa ajanjaksoa ja tehtävää.
Testaa lyhyet keskustelut, pitkät kontekstit ja samanaikaisuus
Pitkä konteksti vaatii lisää laskentaa ja muistia. Samanaikaiset pyynnöt jakavat käytettävissä olevat resurssit. Dokumentaatio Ollaman kontekstista (ulkoinen linkki) ja dokumentaatio vLLM:n optimoinnista (ulkoinen linkki) selittävät näitä yhteyksiä; tarkat asetukset riippuvat versiosta ja laitteistosta.
Mielekäs testi yhdistää lyhyitä ja pitkiä syötteitä suunniteltuun käyttöön sopivaan samanaikaisuuteen. Tasaisen pyyntövirran lisäksi tarkastellaan odotettavia ruuhkahuippuja. Jos eräkäsittely lisää läpimenoa, on silti tarkistettava yksittäisten vastausaikojen sopivuus käyttäjille.
Mahdollinen testisuunnitelma
Suorita ensin samat varsinaiset tehtävät yksitellen. Testaa sitten lyhyitä pyyntöjä ja hyväksyttyihin asiakirjoihin liittyviä tehtäviä yhdessä. Mallinna tämän jälkeen odotettava ruuhkahuippu ja tarkkaile ylikuormitusta. Tavoitearvot sovitaan etukäteen käyttäjien kanssa.
Suunnitelma on muokattava esimerkki. Se ei sisällä mitattuja DAXS-suorituskykylukuja eikä korvaa ympäristökohtaista arviointia.
Erota käynnistys, normaali käyttö ja palautuminen
Uudelleenkäynnistyksen jälkeen malli on ehkä ensin ladattava. Tämä kylmäkäynnistys mitataan erikseen toiminnasta, jossa malli on jo ladattu. Nopeat NVMe-asemat voivat auttaa latauksessa ja tietotoiminnoissa; tästä ei seuraa yleistä tokenien generoinnin nopeutumista mallille, joka on kokonaan GPU-muistissa.
Pilottiin kuuluvat myös yhteyden katkeaminen, keskeytynyt tehtävä ja palvelun uudelleenkäynnistys. Sovelluksen tulee näyttää tilansa ymmärrettävästi ja tarjota järkevä uudelleenyritys- tai siirtotapa. Ylikuormitus ei saa johtaa huomaamatta puutteellisiin tuloksiin.
Muuta tulokset arkkitehtuuripäätökseksi
Vertailussa huomioidaan käyttökelpoiset tulokset, korjaustyö, viive, kapasiteetti ja jatkuva käyttö. Kokonaiskustannuksiin kuuluvat myös hallinta, ylläpito, energia, varmistukset ja vaadittu saatavuus. Ulkoisissa palveluissa lisätään todelliset käyttökustannukset ja sovitut tietoreitit.
Tuloksena voi olla pienempi sopiva malli, lisäresursseja, rajattu jono tai toinen toimintamalli. Paikallisia, ulkoisia ja hybridiratkaisuja arvioidaan samalla tehtävällä. Pilotin tarkoitus on mahdollistaa perusteltu seuraava päätös ilman, että sillä jälkikäteen perustellaan ennalta oletetun laitteiston hankinta.
DAXS suunnittelee testin, rakentaa sopivan ympäristön ja arvioi tulokset IT-tiiminne kanssa. Teknisiä perusteita esittelee paikallisia LLM-malleja ja infrastruktuuria käsittelevä asiantuntijasivumme. Yhdistettyjen tietokokoelmien osalta haun, lähteiden ja käyttöoikeuksien laatu kuuluu samaan arviointikehykseen.
