Kolme HPE-räkkipalvelinta ei yksin muodosta vikasietoista Proxmox-klusteria. Tavoite voidaan todentaa vasta, kun solmuvian jälkeen jää riittävästi laskentatehoa, muistia, saavutettavaa VM-dataa, verkkoa ja virtareittejä. Suunnitteluesimerkki näyttää tarvittavat päätökset kolmen HPE ProLiant DL360 Gen11 -palvelimen Proxmox VE -kokonaisuudelle.
Artikkeli kuvaa hypoteettisen mitoitusprofiilin, ei valmista HPE-tilausnumeroa. Solmulle oletetaan 24-ytiminen suoritin, 256 GiB ECC-RAM-muistia, peilatut käynnistysmediat, neljä yritysluokan SAS SSD -levyä, joista jokainen on 3,84 TB VM-dataa varten, kaksi kahdennettua virtalähdettä ja sopivat 25 Gbit verkkoyhteydet. HPE tarjoaa DL360 Gen11 -räkkipalvelimeen suoritin-, DIMM-, levy-, verkko- ja virtalähdevaihtoehtoja. Juuri tämän suorittimen, taustalevyn, HBA/JBOD-tilan, SSD-tyypin, puhaltimien, NIC:n, kaapelien ja laiteohjelmiston yhdistelmän hyväksyntä kuuluu HPE-kumppanin vahvistamaan osaluettelo- ja yhteensopivuustarkistukseen. Cephin OSD-levyjä ei saa piilottaa sopimattoman laitteisto-RAIDin taakse.
Riittääkö vara isäntävian jälkeen?
Kolme solmua tarjoaa yhteensä 72 fyysistä suoritinydintä ja 768 GiB RAM-muistia. Yhden vikaantuessa jää 48 ydintä ja 512 GiB. Esimerkissä varaamme kultakin jäljelle jäävältä isännältä neljä ydintä ja 32 GiB Proxmoxille, Cephille ja käytön huipuille. VM-käyttöön jää siten laskennallisesti 40 ydinekvivalenttia ja 448 GiB RAM-muistia. Mitattu 28 ydinekvivalentin ja 300 GiB:n VM-muistin huippu jättäisi tässä mallissa 12 ydinekvivalentin ja 148 GiB:n puskurin. Pelkkä vCPU-määrä ei ole mittaus: CPU steal, NUMA, I/O, muistin käyttö ja yksittäisten suurten VM:ien sijoittelu on mitattava pilotissa. Myös uudelleenkäynnistymisaika ja sovellusten prioriteetit kuuluvat hyväksyntään.
Luotettava quorum HA-käytössä edellyttää Proxmoxissa vähintään kolmea ääntä. Kolmella samanarvoisella solmulla yhden vika jättää kaksi ääntä eli enemmistön. Tämä ei vielä takaa VM:n uudelleenkäynnistystä: datan on oltava saavutettavissa, kohdeisännällä on oltava resursseja ja HA-sääntöjen on sovittava. Corosync-verkko tarvitsee vakaan pienen viiveen ja riippumattoman toisen reitin. Yhteinen rikkoutunut kytkin tai yhteinen PDU kumoaa aiotun isäntävarmennuksen.
Paikalliset SSD:t: mitä dataa on käytettävissä vian jälkeen?
Tässä esimerkissä kaksitoista paikallista data-SSD:tä muodostaa Ceph-poolin, jossa on kolme kopiota ja isäntä vika-alueena. Raakakapasiteetti on 3 × 4 × 3,84 = 46,08 TB . Kolme kopiota pienentää teoreettisen käyttökapasiteetin ennen metatietoja ja varoja 15,36 TB:iin. Kun käytetään ainoastaan suunnittelua varten asetettua 70 %:n ylärajaa, työarvoksi saadaan noin 10,75 TB. Tämä ei ole taattu Ceph-kapasiteetti: OSD-täyttöaste, sijoittelu, palautuminen, snapshotit ja todelliset datakuviot pitää mitata.
Yhden kolmesta isännästä vikaantuessa kaksi jäljelle jäävää kopiota voi jatkaa I/O:n käsittelyä sopivasti määritetyllä min_size-säännöllä; pooli on tällöin heikentyneessä tilassa. Kolmas kopio kolmanteen isäntäkohtaiseen vika-alueeseen voidaan palauttaa vasta solmun palattua tai sen korvaamisen jälkeen. Tämä on täsmälleen kolmen solmun ratkaisun raja. Ceph-replikointi ei myöskään korvaa erillistä varmistusta. Proxmox Backup Server sijoitetaan näiden kolmen isännän ulkopuolelle omaan vika-alueeseen, testatulla palautuksella ja erillisellä ulkoisella kopiolla. DAXSin artikkeli Proxmox Backup Server: tarkistus, säilytys ja palautus syventää palautustestausta.
Verkko ja sähkö kuuluvat arkkitehtuuriin
Cephille tärkeitä ovat kaistanleveys ja pieni viive; uudelle klusterille suunnittelemme erilliset kahdennetusti liitetyt 25 Gbit reitit testattavaksi lähtöoletukseksi. Tarvittava nopeus seuraa kirjoituskuormasta, replikointiliikenteestä ja palautumisen tavoiteajasta, ei esitteen porttimäärästä. Corosyncin tulee käyttää riippumattomia fyysisiä reittejä; hallinta- ja VM-liikenne erotetaan tai rajoitetaan asianmukaisesti. VLANien, kytkimien ja verkkokorttien tarkka kohdistus dokumentoidaan porttisuunnitelmaan.
Kaksi palvelimen virtalähdettä auttaa vain, jos ne käyttävät erillisiä virtareittejä. DAXS järjestäisi kunkin isännän virtalähteen A liittämisen PDU/UPS A:han ja virtalähteen B liittämisen PDU/UPS B:hen, kuormitetun kulutuksen mittauksen ja yhden reitin vian testin. iLO-hallinta, vara-SSD:t, laiteohjelmiston ylläpito ja huoltoikkunat ovat muita käyttökohteita. Kolme palvelinta samassa räkissä ei suojaa koko tilan häiriöltä.
Avoin kolmen ja viiden vuoden laskelma
Olkoon ajantasainen vahvistettu HPE-tarjous täydestä solmusta h euroa, kahdennetusta verkosta optiikoineen nja erillisestä varmistuspalvelimesta medioineen k. HPE-palvelu ja varaosat maksavat mallissa s euroa vuodessa, sähkö ja laitetilapalvelu e euroa vuodessa. Näitä tarjousten arvoja ei keksitä. Proxmoxin julkaistut listahinnat ovat 550 € vuodessa käytössä olevaa VE-suoritinkantaa kohti ja 2 240 € PBS Standard -palvelimesta: tässä 3 × 550 + 2 240 = 3 890 € vuodessa. Kertaluonteisesti oletetaan 80 tuntia hintaan 90 € (7 200 €) rakentamiseen, testeihin ja luovutukseen; vuosittain 50 tuntia hintaan 90 € (4 500 €) käyttöön.
| Erä | 3 vuotta | 5 vuotta |
|---|---|---|
| Solmut, verkko, varmistuslaitteisto | 3h + n + k | 3h + n + k |
| Kertaluonteinen rakentaminen | 7 200 € | 7 200 € |
| VE/PBS + käyttö vuodessa | 3 × (3 890 + 4 500 + s + e) | 5 × (3 890 + 4 500 + s + e) |
| Yhteensä | 3h + n + k + 32 370 + 3s + 3e € | 3h + n + k + 49 150 + 5s + 5e € |
Herkkyys näkyy suoraan: 1 000 € lisää solmua kohti kasvattaa kumpaakin ajanjaksoa 3 000 €; 1 000 € lisää vuotuista HPE-palvelua lisää vastaavasti 3 000 tai 5 000 €. Jos jokainen isäntä tarvitsee toisen käytössä olevan suorittimen, samalla Proxmox Standard -tasolla pelkät tilaukset lisäävät 1 650 € vuodessa, laitteiston, RAMin ja energian lisäksi. Laskelmasta puuttuvat VMware-siirtymä, toinen varmistuspaikka ja hinnankorotukset; ne lisätään varsinaiseen päätökseen.
DAXS tarkistaa ensin huippukuormat ja vikatavoitteet, sitten hyväksytyn HPE-osaluettelon, portti- ja virtasuunnitelman, Ceph- ja varmistuspalautukset sekä täydet tarjoukset. Tällaisen klusterin suunnittelun omaan ympäristöön voi aloittaa kohdasta Yhteystiedot ja sopia jatkosta.
Lähteet: HPE ProLiant DL360 Gen11 QuickSpecs · Proxmox VE Administration Guide: klusteri, HA ja Ceph · Ceph: kopioiden määrä ja min_size · Proxmox VE: tilaushinnat · Proxmox Backup Server: hinnat.
