8, 12, 16 tai 24 GB näytönohjainmuistia auttaa esivalinnassa. Paikallisen kielimallin käytännöllisyys riippuu myös malliversiosta, kontekstista ja samanaikaisesta käytöstä. Lyhyt muistivertailu ehkäisee virhehankintoja.
Mikä näytönohjainmuistia todella käyttää
Suunnittelussa on kolme osa-aluetta: ladatut mallipainot, kontekstimuisti ja KV-välimuisti sekä suorituksen puskurit käytetyssä taustajärjestelmässä. Tilaa pitää jäädä myös muille GPU-sovelluksille ja käyttövaralle. Tavallisessa erillisessä näytönohjaimessa järjestelmän RAM ja näytönohjainmuisti ovat eri resursseja.
Jaetun muistin järjestelmillä on erilainen budjetti: käyttöjärjestelmä, sovellukset ja malli käyttävät samaa kokonaisuutta. Myös niissä pilotin pitää mitata käytettävissä oleva muisti ja todellinen tehtävä. Nimelliskapasiteetti ei yksin riitä kummassakaan rakenteessa.
4 bittiä: hyödyllinen laskelma selvin rajoituksin
Merkintöjen 7B ja 70B ”B” tarkoittaa miljardeja parametreja. Painojen karkea laskelma yhtenäisellä 4 bitin esityksellä on: parametrimäärä × 4 ÷ 8 = tavua. Kvantisointi tallentaa painot pienemmällä tarkkuudella. Vaikutus vastausten laatuun on testattava tehtäväkohtaisesti.
| Malliluokka | Teoriassa 4 bitillä | Mitä tästä seuraa |
|---|---|---|
| 7–8B | 3,5–4,0 GB ≈ 3,26–3,73 GiB | Kompakti lähtökohta ensimmäiselle testille; tarkka tiedosto ja konteksti on huomioitava lisäksi. |
| 14B | 7,0 GB ≈ 6,52 GiB | Pelkkä laskelma ei todista täyttä suoritusta 8 GB:n kortilla. |
| 32B | 16,0 GB ≈ 14,90 GiB | Nimellisesti sopiva painobudjetti ei vielä jätä tilaa muulle suoritukselle. |
| 70B | 35,0 GB ≈ 32,60 GiB | Tässä yksinkertaistetussa laskelmassa jo painot ylittävät yhden 24 GB:n kortin. |
Tietty GGUF on laskelmaa suurempi tai eri tavalla koostettu. Esimerkiksi Q4_K_M ei tallenna kaikkia osia yksinkertaisesti neljän bitin tarkkuudella parametria kohti. Suunnitelmaan tarvitaan siksi tarkka mallitiedosto ja kvantisointiversio , jota aiotaan käyttää.
Tarkistettava esimerkki Qwenin virallisista tiedostoluetteloista: Q4_K_M-tiedosto-osien summa mallille Qwen2.5-Instruct on 7B-mallille noin 4,68 GB / 4,36 GiB, 14B-mallille 8,99 GB / 8,37 GiB ja 32B-mallille 19,85 GB / 18,49 GiB. Nämä ovat tiedostokokoja, eivät mitattuja VRAM-kulutuksia. Ne kuitenkin osoittavat, miksi ”32B 4 bitillä mahtuu 16 GB:hen” ei ole luotettava lupaus tästä versiosta.
8, 12, 16 ja 24 GB:n arviointi
| Kapasiteettiluokka | Hyödyllinen testialue | Huomioitavaa |
|---|---|---|
| 8 GB | Kompakti 7–8B-versio ja rajattu konteksti lähtökohdaksi. | Muu GPU-käyttö ja pitkät syötteet voivat nopeasti pienentää budjettia. |
| 12 GB | Enemmän tilaa kompakteille malleille; testaa tietty 14B-kvantisointi erikseen. | Painojen, KV-välimuistin ja puskurien on mahduttava yhdessä vapaaseen muistiin. |
| 16 GB | Lisävaraa sopiville pienille ja keskisuurille malliversioille. | Mainittu Qwen2.5-32B-Q4_K_M ylittää tämän luokan jo kokonaisena tiedostona. |
| 24 GB | Sopiva 32B-kvantisointi voi päästä tarkempaan arviointiin. | Pitkä konteksti ja rinnakkaiset pyynnöt on testattava lisäksi. Tästä ei seuraa 70B-tukea. |
Tarkista mittaustyökalun yksikkö ja vapaa muisti. Saman kapasiteetin kortit voivat erota huomattavasti kaistanleveydessä, laskentatehossa, ajurituessa ja sähkönkulutuksessa. Suurempi GB-määrä ei siis ole mallihyväksyntä eikä suorituskykymittaus.
Konteksti ja samanaikaiset pyynnöt kuuluvat testiin
KV-välimuisti säilyttää käsittelyn tarvitsemia väliarvoja. Tarve riippuu muun muassa malliarkkitehtuurista, kontekstin pituudesta ja tallennusmuodosta. Pitkät asiakirjat, keskusteluhistoriat ja tietokatkelmat vaativat lisätilaa. Mallin ilmoitettu enimmäiskonteksti ei siis ole ilman kustannuksia käytettävää muistia.
Yhden pyynnön onnistunut testi kertoo vähän samanaikaisista pyynnöistä. Ollamassa rinnakkainen kontekstinkäsittely lisää muistinkäyttöä; kirjaa tarkka kokoonpano. Testaa lyhyen pyynnön lisäksi pidempi realistinen konteksti ja odotettu samanaikaisuus. Arvioi yhdessä vastauslaatu, aika ensimmäiseen tokeniin, kokonaiskesto, virheet ja muistihuippu.
Pienempi tai kvantisoitu KV-muoto voi säästää muistia suoritusympäristöstä ja taustajärjestelmästä riippuen. Se voi vaikuttaa myös tarkkuuteen ja toimintaan. Mallipainojen ja KV:n kvantisointi ovat erillisiä asetuksia; vertaa niitä samoilla tehtäväkohtaisilla testeillä.
Siirto CPU:lle ja RAM-muistiin: mahdollista, mutta toiminta muuttuu
Esimerkiksi llama.cpp tukee suorituksen jakamista CPU:n ja GPU:n välille. Näin voi käyttää mallia, jonka kokonaismuistitarve ylittää näytönohjainmuistin. Tarvitaan riittävästi RAM-muistia ja sopiva tiedonsiirtoreitti. SSD ei korvaa puuttuvaa VRAM-muistia yhtä nopealla näytönohjainmuistilla.
Siirto muuttaa suoritusreittiä ja usein vastausaikaa; vaikutusta ei voi luotettavasti määrällistää mittaamatta. Ollamassa komento ollama psauttaa tarkistamaan nykyisen CPU/GPU-jaon. Useat GPU:t eivät myöskään automaattisesti vastaa yhtä suurta laitetta: tuki, työnjako ja korttien väliset siirrot kuuluvat arkkitehtuurin tarkastukseen.
Ennen ostoa: hyväksy tietty kokoonpano
- Määritä malli: tarkka versio, kvantisointi, lisenssi ja tavoiteltu vastauslaatu.
- Määritä kuorma: kontekstibudjetti, syötteen/tulosteen pituus ja samanaikaiset pyynnöt.
- Tarkista ympäristö: tietty GPU, backend, ajurit, käyttöjärjestelmä, RAM, jäähdytys ja virtalähde.
- Mittaa: vapaa kapasiteetti, huippukulutus, vastausajat ja sisältövirheet edustavassa pilotissa.
- Päätä: käytä nykyistä laitteistoa, laajenna harkitusti tai valitse paikallinen, ulkoinen tai hybridi palvelu.
DAXS sovittaa mallin ja laitteiston valinnan nykyiseen IT:hen ja sovittuun ylläpitoon. Asiantuntijasivu Paikalliset LLM:t ja infrastruktuurikuvaa kokonaisuuden. Artikkeli paikallisen tekoälyn kuormapilotista esittää arvioinnin realistisilla tehtävillä; Kustannukset ja mallin valinta tarkastelee taloutta.
Keskustele mallin ja laitteiston valinnasta
Lähteet: Ollama: kontekstin pituus (ulkoinen linkki) · Ollama: muisti, samanaikaisuus ja offloading (ulkoinen linkki) · llama.cpp: suoritusreitit (ulkoinen linkki) · Hugging Face: GGUF (ulkoinen linkki) · Qwenin viralliset tiedostoluettelot 7B (ulkoinen linkki), 14B (ulkoinen linkki), 32B (ulkoinen linkki). Opastusta inferenssiin; ei koulutustesti, laitteistotarjous eikä väitetty asiakasmittaus.
