Ceph Proxmox-klusterissa: korkea käytettävyys ilman erillistä SANia

Ceph voi jakaa Proxmox-klusterin VM-tiedot usean solmun paikallisille SSD-levyille ja korvata erillisen SANin. Ratkaisevaa on kopioiden tilanne solmun vioittumisen jälkeen: riittävätkö päätösvaltaisuus, vapaa kapasiteetti ja verkko palauttamaan halutun vikasietoisuuden ajoissa? Laskelma erottaa tietojen saatavuuden, automaattiset VM-uudelleenkäynnistykset ja todellisen palautumisajan.

Artikkelin painopiste on Cephin toiminta käytössä. Tarkka HPE-osaluettelo kuuluu erilliseen laitesuunnitteluun; Cephin, ZFS-replikoinnin ja ulkoisen tallennuksen valinta vaatii oman sovellusvertailun. Perusskenaariossa paikalliset enterprise-SSD:t ovat erillisiä Ceph-OSD:itä, VM-pooli replikoidaan ja solmu on vikavyöhyke. Käynnistysmediat ja ulkoinen varmistus eivät kuulu pooliin.

Miten paikalliset SSD:t tuovat VM-tiedot saataville?

Ceph jakaa tieto-objektit sijoitusryhmien kautta OSD:ille. CRUSH-sääntö määrää, millä solmuilla kopiot ovat. Esimerkissä asetetaan nimenomaisesti size=3 ja min_size=2: kolme kopiota ensisijainen mukaan lukien, I/O vähintään kahdella saatavilla olevalla kopiolla. Kopiot saman solmun kolmella OSD:llä eivät suojaa kolminkertaisesti solmun vialta. Monitorien päätösvaltaisuus, OSD-tila ja VM-tietojen saatavuus tarkistetaan erikseen. Proxmox-klusteri tarvitsee luotettavaan HA-päätösvaltaisuuteen vähintään kolme ääntä; lisäksi tarvitaan Ceph-monitorien päätösvaltaisuus ja VM:n HA-säännöt.

Kun täsmälleen kolmesta solmusta yksi vikaantuu, oikein jaettu replikointi jättää kaksi solmukopiota. Mainituin ehdoin pooli voi palvella heikentynyttä I/O:ta, mutta kolmas kopio kolmannella solmuvyöhykkeellä syntyy vasta solmun palattua tai tultua korvatuksi. Neljällä solmulla Ceph voi rakentaa sen neljännelle, jos tilaa ja suorituskykyä on vapaana. Tässä on käytännön ero tietojen säilymisen saatavilla ja vikasietoisuuden palauttamisen välillä kesken vikatilanteen. Myös Cephin kanssa VM voi pysähtyä ja vasta käynnistyä toisella solmulla; nollan sekunnin katkoa tämä ei takaa.

Laske kapasiteetti vikavaralla

Oletetaan jokaiselle solmulle neljä paikallista datalevyä, kukin 1,92 TB desimaalista SSD-kapasiteettia. Kolme solmua antaa 23,04 TB raakaa, neljä 30,72 TB. Kolmella kopiolla ennen metatietoja, tilannevedoksia ja käyttövaroja teoreettinen looginen määrä on 7,68 tai 10,24 TB. Hypoteettinen 70 prosentin suunnitteluraja antaa aluksi 5,38 tai 7,17 TB. Se ei ole Cephin oletus eikä luvattu käyttökapasiteetti.

Jos neljän solmun klusteri halutaan pitää valitun rajan alla myös solmun vioituttua, uudelleenrakennuksen valmistuttua, suunnitellaan esimerkissä enintään noin 70 prosenttia jäljellä olevasta kapasiteetista: 5,38 TB loogista tietoa, ei 7,17 TB. Myös täydet OSD:t ja Cephin kynnysarvot nearfull, backfillfull ja fullratkaisevat. Yksi täysi OSD voi estää kirjoitukset tai backfillin, vaikka kokonaismäärä näyttäisi hyvältä. Desimaaliset TB:t eivät ole binäärisiä TiB:jä.

Kauanko uudelleenrakennus kestää?

Kun loogista tietoa on esimerkkinä 5 TB ja kopioita kolme, neljän solmun klusterissa on 15 TB raakaa, ihanteellisesti tasan 3,75 TB solmua kohti. Yhden menetys vaatii kolmatta kopiota varten noin 3,75 TB:n siirron kolmelle jäljellä olevalle. Kun uudelleenrakennuksen mitattu tehollinen nopeus on 250 MB/s, 3,75 TB ÷ 250 MB/s = noin 4 tuntia 10 minuuttia on laskennallinen alaraja; nopeudella 125 MB/s noin 8 tuntia 20 minuuttia. Peering, jakautuminen, kilpaileva VM-I/O, palautusrajat ja uudet kirjoitukset pidentävät todellista aikaa.25 Gbit:n kortin nimellisnopeus ei ole tällainen mittaus.

DAXS edellyttäisi vikatestiä aktiivisella sovelluskuormalla: seuraa ceph health detail, ceph osd df ja sijoitusryhmien etenemistä, kirjaa todelliset palautustavut ja kesto sekä mittaa viivettä ja VM-saatavuutta. Normaalikäytössä PG:iden tulee palata tilaan active+clean . Testin on myös osoitettava, osuuko kytkimen, linkin tai sähköreitin vika yhtä aikaa Corosync-päätösvaltaisuuteen tai Ceph-liikenteeseen. Proxmox suosittelee vähintään 10 Gbit/s yksinomaan Cephille ja nopeilla SSD:illä enemmän; porttisuunnitelma riippuu OSD-läpäisystä, palautumistavoitteesta ja erillisistä fyysisistä reiteistä.

Mitä ylimääräinen uudelleenrakennusvyöhyke maksaa?

Budjetissa olkoon h täyteen varustellun solmun tarjoushinta, n jo neljälle yhteydelle mitoitettu kahdennettu verkko ja b ulkoinen varmistuspalvelin medioineen. Solmua kohti oletetaan p euroa vuodessa huoltoon, sähköön ja konesalisijoitukseen. Vain tässä mallissa asennus ja hyväksyntä ovat 100 tuntia × 90 € = 9 000 € ja jatkuva käyttö 60 tuntia × 90 € = 5 400 € vuodessa. Sama työmäärä oletetaan kolmelle ja neljälle solmulle ja arvioidaan oikeassa tarjouksessa uudelleen. Proxmox VE Standardin ja Proxmox Backup Server Standardin viralliset listahinnat ovat 550 € käytössä olevaa CPU-kantaa kohti vuodessa ja 2 240 € varmistuspalvelinta kohti vuodessa. Jokaisella solmulla oletetaan täsmälleen yksi käytössä oleva kanta. Kaikki summat ovat verottomia; korvaa oikeilla tarjouksilla ja työmäärillä.

Kaava lisää vuosittain Proxmox-kannat, PBS:n ja 5 400 € käyttöä: kolmella solmulla 9 290 € plus 3p, neljällä 9 840 € plus 4p. Solmun 1 000 € korkeampi kappalehinta nostaa molempia neljän solmun aikajaksoja 4 000 €; 1 000 € korkeampi vuosikulu solmua kohti lisää 12 000 tai 20 000 €. Jos neljän solmun vaihtoehto tarvitsee erilaiset kytkimet, lisätään erotus muuttujaan n . Ceph-kopiot eivät edelleenkään ole varmistus: erillinen järjestelmä, ulkoinen kopio ja testattu palautus kuuluvat hyväksyntään. DAXSin artikkeli Proxmox Backup Server: tarkistus, säilytys ja palautus kuvaa tämän tarkistuksen.

Päätös tehdään viiveen, katkon ja uudelleenrakennuksen mittaamisen sekä luotettavan laite-, verkko- ja käyttötarjouksen jälkeen. DAXS voi täsmentää mittaus- ja hyväksyntäpöytäkirjan yrityksen kanssa sivun Yhteystiedot kautta.

Lähteet: Proxmox VE Administration Guide: klusteri ja Ceph · Ceph: size ja min_size · Ceph: terveystarkistukset ja täyttöasteet · Ceph: recovery ja backfill · Proxmox VE: hinnat · Proxmox Backup Server: hinnat.