Ensimmäistä paikallisen tekoälyn kokeilua varten ei tarvitse heti ostaa uutta palvelinta. Nykyinen tietokone voi osoittaa, tuottaako pienempi kielimalli käyttökelpoisia tuloksia haluttuun tehtävään. Päivittäisessä työssä merkitystä on tämän jälkeen myös odotusajalla, käytettävissä olevalla kapasiteetilla ja luotettavalla ylläpidolla.
Tärkein kysymys on siksi: mitä mallin on tehtävä? Lyhyt tekstin muokkaus asettaa eri vaatimukset kuin pitkien asiakirjojen analyysi, laaja ohjelmointityö tai usean henkilön samanaikainen käyttö. ”Malli käynnistyy” on ensimmäinen tekninen havainto. Se ei vielä osoita työaseman tai yrityspalvelun soveltuvuutta.
Mitä voi tehdä ilman erityistä näytönohjainta
Kielimallit voivat toimia tuetulla CPU:lla. llama.cpp-ajoympäristö tukee eri suoritinalustoja sekä työn jakamista CPU:n ja GPU:n kesken. GPU ei siis ole jokaisen kokeilun yleinen edellytys, vaikka se voi nopeuttaa käsittelyä huomattavasti. Todellinen ero mitataan valitulla tehtävällä. llama.cpp: tuettu laitteisto ja suoritus (ulkoinen linkki).
CPU-kokeilussa voi esimerkiksi laatia luonnoksen ei-arkaluonteisista muistiinpanoista, jäsentää lyhyen muistion tai arvioida pientä koodiesimerkkiä. Mallin on sovittava sekä kieleen että aiheeseen. Pitkä syöte, vaativa vastaus tai toinen samanaikainen pyyntö voi muuttaa aluksi käyttökelpoista yhden käyttäjän tulosta huomattavasti.
32 tai 64 Gt RAM-muistia: suunnitteluskenaarioita, ei yleispätevä minimi
Seuraavat tasot on tarkoituksella merkitty esimerkeiksi. Ne eivät korvaa kyseisen mallitiedoston tarkistamista eivätkä kuormitustestiä. Pienemmät mallit voivat tarvita vähemmän muistia; suuremmat mallit, pitkät kontekstit tai useat palvelut voivat vaatia huomattavasti enemmän.
| Laajennustaso | Esimerkki perustasta | Mitä testin on selvitettävä |
|---|---|---|
| Nykyisen tietokoneen arviointi | Tuettu CPU, esimerkiksi 32 Gt RAM-muistia ja riittävästi vapaata SSD-tilaa; aluksi ilman lisä-GPU:ta. | Soveltuuko pienempi malli aiheeseen? Onko odotusaika hyväksyttävä yksittäisissä lyhyissä tehtävissä? |
| Säännöllisesti käytettävä työasema | Esimerkiksi 32–64 Gt RAM-muistia, NVMe-SSD ja mallin sekä kontekstin perusteella valittu GPU. | Pysyykö työ sujuvana, kun muita sovelluksia toimii rinnakkain ja syötteet pitenevät? |
| Yhteinen palvelu | Varatut resurssit; esimerkiksi 64 Gt järjestelmämuistia suunnittelun lähtökohtana, sopiva kiihdytys ja järjestetty ylläpito. | Millainen samanaikainen käyttö, vastausten laatu ja saatavuus saavutetaan todellisella kuormalla? |
64 Gt järjestelmän RAM-muistia ei korvaa riittävän suurta näytönohjaimen muistia. Myöskään SSD:lle mahtuva mallitiedosto ei osoita, että koko malli haluttuine konteksteineen mahtuu GPU:n muistiin. Jaetun muistin järjestelmissä on arvioitava koko muistin jakautuminen.
Miksi pelkkä mallin koko ei riitä
Yksinkertainen laskuesimerkki havainnollistaa suuruusluokkaa: kahdeksan miljardia parametria ja laskennallisesti neljä bittiä parametria kohti tuottaa 8 000 000 000 × 4 ÷ 8 = 4 000 000 000 tavua, eli noin 4 Gt tai 3,73 Git pelkkiä painoja. Tämä ei ole suoritettavan mallin koko muistivaatimus.
Lisäksi tarvitaan muun muassa kvantisointitietoja, eri muodoissa tallennettuja osia, ajonaikaisia puskureita ja kontekstimuistia. Todellinen tiedosto ja valittu ajoympäristö ratkaisevat. GGUF sisältää esimerkiksi tensorien lisäksi metatietoja ja tukee erilaisia kvantisointimuotoja. Hugging Face: GGUF ja kvantisointi (ulkoinen linkki).
Suurempi konteksti-ikkuna vaatii lisää muistia. Siksi haluttu syötteen pituus kirjataan testissä erikseen. Lyhyt keskustelu pienellä syötteellä kertoo vain vähän myöhemmästä työstä pitkien asiakirjojen kanssa. Ollama: kontekstin pituus ja muistitarve (ulkoinen linkki).
GPU:n on sovittava koko ympäristöön
Valinnassa merkitsevät käytettävissä oleva grafiikkamuisti, tuetut ajurit ja ajoympäristö, virrankulutus, jäähdytys ja asennusolosuhteet. Kahdessa samankaltaisella tuotenimellä myytävässä kortissa voi olla eri määrä muistia. Myöskään käyttöjärjestelmän tunnistama kortti ei välttämättä ole halutun malliympäristön asianmukaisesti käytettävissä.
Ennen hankintaa tarkistetaan siksi tarkka korttimalli, käyttöjärjestelmä ja ajuriversio suhteessa ajoympäristön nykyiseen tukeen. Ollama dokumentoi eri toteutustapoja NVIDIA-, AMD- ja Apple Metal -ympäristöille sekä muille taustajärjestelmille. Tämä ei tarkoita merkin jokaisen kortin yleistä tukea. Ollama: nykyinen laitteistotuki (ulkoinen linkki).
Mitä NVMe ja Linux tuovat
NVMe-SSD on järkevä suunnitteluvaihtoehto paikallisille mallitiedostoille, päivityksille ja työdatan tallennukselle. Vapaata tilaa varataan todellisuudessa käytettäville malleille ja lisäversioille. Suurempi asema ei kuitenkaan korvaa RAM- tai grafiikkamuistia; nopeakaan SSD ei automaattisesti tee liian suuresta mallista vuorovaikutteisesti käytettävää.
Linux voi sopia jatkuvasti ylläpidettävälle palvelulle, jos ajurit, ylläpito ja vastuut sopivat yrityksen toimintaan. Ollama kuvaa muun muassa käytön omana järjestelmäpalveluna. Käyttöjärjestelmä valitaan olemassa olevan ympäristön perusteella; sitä ei tarvitse ottaa uutena käyttöön jokaisessa työasemassa. Ollama: Linux-käyttö ja versioiden ylläpito (ulkoinen linkki).
Lyhyt pilotti tuottaa paremman ostoslistan
- Määritä tehtävä: esimerkiksi luonnos hyväksytyistä muistiinpanoista ennen koko tietovarannon liittämistä.
- Kirjaa testin olosuhteet: malliversio, kvantisointi, konteksti, laitteisto ja muut käynnissä olevat sovellukset.
- Arvioi tulokset: sisällön oikeellisuus, tarvittavat korjaukset ja todellisuudessa säästynyt työ.
- Mittaa odotusajat: tyypilliset ja pidemmät syötteet sekä odotettu samanaikainen käyttö.
- Tarkista myös ylläpito: tietovirrat, käyttöoikeudet, päivitykset, varmistukset ja palvelun palauttaminen.
Tarkempi testausmenettely kuvataan artikkelissa Paikallisen tekoälyn testaus: pilotti edustavalla kuormalla. Yhteiseen palveluun siirtymistä käsittelevä Ollama ja Open WebUI yritysverkossa selittää pääsyn, käyttöliittymän ja mallin työnjaon.
Hyödynnä nykyistä järkevästi ja täydennä kohdennetusti
Nykyinen tietokone voi riittää alkuun. Jos pilotti osoittaa luotettavan hyödyn, laitteistoa päivitetään kohdennetusti tai suunnitellaan oma palvelu. Harvoissa tai erityisen vaativissa tehtävissä myös hyväksytty pilvirajapinta tai hybridimalli voi olla taloudellisesti sopiva. Ratkaisevia ovat tiedot, laatu, käyttö ja ylläpidon työmäärä.
DAXS auttaa vaihtoehtojen arvioinnissa ja integroinnissa nykyiseen IT-ympäristöön. Alkuun pääset sivulla Paikalliset LLM:t ja infrastruktuuri sekä tekemällä tekoälyneuvonnan ja automaation yhteydenottopyynnön.
Lähteet: muistiarvot ovat nimenomaisesti kuvattuja suunnitteluskenaarioita tai teoreettinen painojen laskelma. Ne eivät ole suorituskykymittaus, hintatarjous tai näyttö tietyn käyttäjämäärän tuesta. Mallin lisenssi ja järjestelmän yhteensopivuus tarkistetaan ennen käyttöä.
