Nykyisellä Proxmox-isännällä on vielä tilaa tekoälypalvelulle. Riittääkö näytönohjaimen asentaminen ja virtuaalikoneen luominen? Ratkaisu voi olla järkevä, kun GPU:n osoitus, isännän resurssit ja ylläpito suunnitellaan yhdessä.
Läpiviennissä fyysinen GPU kuuluu yhdelle VM:lle
PCIe-läpivienti antaa virtuaalikoneelle fyysisen laitteen hallinnan. Tekoäly-VM käyttää GPU:ta oman vierasjärjestelmänsä ajurilla. Osoituksen aikana isäntä ja muut VM:t eivät voi käyttää samaa korttia samanaikaisesti omiin laskentoihinsa.
Tekoäly-VM:n sisäinen yhteinen mallipalvelu voi käsitellä useita pyyntöjä. Se on eri asia kuin kortin jakaminen usean VM:n kesken. Erillisen vGPU-ratkaisun sopivuus riippuu myös GPU:sta, hypervisorista, ajureista, tuetuista kokoonpanoista ja lisensoinnista.
VM:n etuna on selkeästi rajattu järjestelmäympäristö: käyttöjärjestelmää, mallipalvelinta ja tarvittavia tietoja voidaan hallita yhdessä. GPU on silti fyysinen laite omine edellytyksineen.
Tarkista koko laitteistoketju ennen asennusta
Proxmox-ohjeistus edellyttää IOMMU-tukea keskeytysten uudelleenmäärityksineen. Suorittimen, emolevyn, laiteohjelmiston ja Linux-tuen on sovittava yhteen. Pelkkä VT-d- tai AMD-Vi-merkintä ei korvaa tätä tarkistusta.
Myös valitun korttipaikan IOMMU-ryhmä on tärkeä. GPU ja sen oheistoiminnot on erotettava asianmukaisesti muista tarvittavista laitteista. Linuxin VFIO-ohjeistus selittää, miksi ryhmä muodostaa osoituksen ja eristyksen rajan. Toinen korttipaikka voi tuottaa erilaisen ryhmittelyn.
Lisäksi tarkistetaan tila, sähköinen PCIe-liitäntä, virransyöttö ja jäähdytys. Vierasjärjestelmässä tarvitaan sopiva GPU-ajuri ja mallipalvelun tuki. GPU-läpivientiin Proxmox suosittelee yleensä q35:tä, OVMF/UEFI:tä ja PCIe:tä; myös kortin laiteohjelmiston on sovelluttava tähän. Tarkat asetukset määräytyvät käytettävän laitteiston mukaan.
Nykyinen kapasiteetti on yhteinen resurssibudjetti
Suunnitteluesimerkkinä on nykyinen virtualisointi-isäntä, jolla on yrityssovelluksia ja uusi tekoäly-VM. CPU-aika, RAM, tallennustila ja verkko pysyvät yhteisinä resursseina. Rajoittamaton asiakirjatuonti tai mallin käynnistys ei saa yllättäen hidastaa muita sovelluksia.
VM:lle määritetään siksi selkeä kokoonpano ja kuormarajat. Grafiikkamuisti, kontekstin pituus ja samanaikaiset mallipyynnöt testataan yhdessä. VM:n RAM-muistin kasvattaminen ei lisää kortin fyysistä VRAM-muistia. Työn siirtäminen CPU:lle voi muuttaa toimintaa ja edellyttää omaa mittausta.
Tasapuolista vertailua varten kirjataan malliversio, syötteet, konteksti ja rinnakkaisuus. Arvioidaan laatu, ensimmäinen vastaus, myöhempi tulostus, odotusaika ja vaikutus muihin VM:iin. Yleinen virtualisoinnin lisäkuorman prosenttiluku olisi ilman tätä konkreettista testiä vähän hyödyllinen.
VM vai erillinen kone: mikä muuttuu ylläpidossa?
| Kysymys | Tekoäly-VM GPU-läpiviennillä | Erillinen tekoälypalvelin |
|---|---|---|
| Resurssit | GPU kiinteästi osoitettu; sovita muut isäntäresurssit yhteen nykyisten VM:ien kanssa. | Laskenta- ja muistiresurssit ovat oman järjestelmän käytettävissä. |
| Ylläpito | Suunnittele vierasajurit, mallien ylläpito ja Proxmox-/isäntäpäivitykset yhdessä. | Käyttöjärjestelmä ja mallipalvelu omalla ylläpitoalueellaan. |
| Isännän vaihto | Suoraan läpiviedyt PCI-laitteet estävät tavanomaisen livemigraation. Pysäytetyn VM:n siirrossa tarkista sopiva kohdelaitteisto ja osoitus. | Siirto tai korvaaminen valmistellulla palautumisella toisella laitteistolla. |
| Varmuuskopiointi | Arvioi VM-levyt, sovellusten eheys, kokoonpano ja laiteosoitus yhdessä. | Järjestä järjestelmä-/sovellustiedot ja palautus erikseen. |
| Työmäärä | Nykyistä infrastruktuuria voidaan käyttää; huomioi integraatio ja lisäriippuvuudet isännästä. | Varaa oma laitteisto ja toimipaikan resurssit; ylläpito on selkeämmin erotettu. |
Nykyinen klusteri ei automaattisesti mahdollista fyysiseen laitteistoon sidotun tekoäly-VM:n siirtämistä katkotta. Käynnistys toisella solmulla vaatii yhteensopivat GPU-resurssit, kelvollisen osoituksen ja todella testatun menettelyn. Palveluvaatimus ratkaisee, riittääkö tämä valmistelu vai onko toinen palvelusolmu tarpeen.
Palautuksen on osoitettava enemmän kuin VM:n käynnistyminen
Kopioitu virtuaalilevy ei sisällä fyysisen näytönohjaimen käynnissä olevaa tilaa. Palautuksessa tarkistetaan siksi myös malliversiot, kokoonpano, tietojen käyttöoikeudet ja uusi laiteosoitus. Samalla isännällä oleva tilannevedos ei korvaa erillistä varmuuskopiota.
Hyväksyntään kuuluvat tavallinen VM:n uudelleenkäynnistys, isännän uudelleenkäynnistys, ajuri-/ydinvaihto suunnitellussa huoltoikkunassa ja suunniteltu palautus. Sen jälkeen testataan todellinen mallipyyntö ja muut sovellukset. Näin nähdään, tuleeko laite uudelleenkäynnistyksen jälkeen jälleen asianmukaisesti käyttöön.
Pelkälle laskentakiihdyttimelle ei tarvita GPU:hun kytkettyä näyttöä. Proxmox-konsoli ei suoraan näytä läpiviedyn GPU:n kuvaa. Tekoälypalvelua käytetään sen tarkoitetun käyttöliittymän tai API:n kautta.
Varmista päätöksen pohja rajatulla pilotilla
DAXS selvittää ensin tehtävän, nykyisen isännän, käyttölaajuuden ja hyväksyttävän katkon. Rajattu pilotti testaa sen jälkeen laiteosoituksen, toiminnallisen laadun ja vaikutukset ylläpitoon. Tuloksen mukaan sopiva ratkaisu voi olla VM, oma kone tai ulkoinen palvelu.
Yrityksille suunnattu Proxmox-katsaus selittää alustan yleisen valinnan. Aihetta syventävät paikallisen LLM-infrastruktuurin sivu ja kuormatestipilotti mitoituksen osalta. Artikkeli Ollama ja Open WebUI täydentää yhteisen palvelun arkkitehtuuria.
Keskustele tekoälyn toimintamallista ja nykyisestä infrastruktuurista.
Lähteet: Proxmox: PCIe-läpivienti (ulkoinen linkki) · Proxmox: virtuaalikoneiden migraatio (ulkoinen linkki) · Linux: VFIO ja IOMMU-ryhmät (ulkoinen linkki) · NVIDIA: vGPU-tukimatriisi (ulkoinen linkki) · Ollama: laitteistotuki (ulkoinen linkki).
