Distributed Storage • High Availability • Private Cloud

Ceph to rozproszona platforma storage Open Source zaprojektowana do budowy skalowalnych i odpornych na awarie środowisk przechowywania danych. Może dostarczać storage blokowy dla maszyn wirtualnych, współdzielony system plików oraz storage obiektowy kompatybilny z API S3.

W sLogic Group wykorzystujemy Ceph przede wszystkim jako warstwę storage dla klastrów Proxmox VE, środowisk Private Cloud i infrastruktury wymagającej wysokiej dostępności.

Ceph pozwala odejść od pojedynczej macierzy storage na rzecz rozproszonej architektury, w której dane mogą przetrwać awarię dysku, serwera lub innego zdefiniowanego elementu infrastruktury.

Jeden klaster, różne modele storage

Ceph wykorzystuje rozproszoną warstwę RADOS, na której mogą działać różne sposoby udostępniania danych. Dzięki temu ta sama technologia może pełnić kilka różnych ról w infrastrukturze.

RBD — Block Storage

Rozproszony storage blokowy dobrze dopasowany do maszyn wirtualnych i środowisk KVM. W Proxmox VE może służyć jako współdzielony storage dla całego klastra.

CephFS — File Storage

Rozproszony system plików POSIX umożliwiający współdzielenie danych pomiędzy wieloma systemami i aplikacjami.

RGW — Object Storage

Warstwa storage obiektowego udostępniająca API kompatybilne z S3, przeznaczone między innymi dla aplikacji i systemów wykorzystujących object storage.

Ceph jako storage dla Proxmox VE

Jednym z najczęstszych zastosowań Ceph jest budowa współdzielonego storage dla klastra Proxmox VE.

Proxmox posiada bezpośrednią integrację z Ceph i pozwala uruchamiać jego komponenty na tych samych fizycznych węzłach, na których działają maszyny wirtualne i kontenery. Powstaje w ten sposób infrastruktura hiperkonwergentna, łącząca warstwę compute i storage.

Maszyny wirtualne nie są wtedy zależne od lokalnego dysku pojedynczego hosta. Ich dane znajdują się w rozproszonym klastrze i mogą być dostępne dla pozostałych węzłów Proxmox.

Compute

Węzły Proxmox dostarczają CPU i RAM potrzebne do uruchamiania maszyn wirtualnych i kontenerów.

Storage

Dyski znajdujące się w węzłach tworzą wspólną, rozproszoną warstwę Ceph dostępną dla całego klastra.

High Availability

Właściwie zaprojektowany klaster ogranicza zależność od pojedynczego hosta lub pojedynczego urządzenia storage.

Proxmox zapewnia warstwę wirtualizacji. Ceph może zapewnić rozproszony storage. Dopiero odpowiednie zaprojektowanie obu warstw tworzy odporną infrastrukturę Private Cloud.

Jak działa Ceph?

Ceph nie opiera się na jednej centralnej macierzy ani pojedynczym kontrolerze odpowiedzialnym za wszystkie dane. Klaster składa się z wielu współpracujących komponentów.

OSD

Komponenty odpowiedzialne za przechowywanie danych na urządzeniach storage oraz wykonywanie operacji związanych z replikacją i odzyskiwaniem danych.

MON

Monitory utrzymują informacje o stanie i topologii klastra. Dla zapewnienia dostępności uruchamia się je w odpowiednio zaprojektowanym quorum.

MGR

Ceph Manager udostępnia dane potrzebne do monitorowania, zarządzania oraz działania dodatkowych modułów klastra.

W przypadku CephFS wykorzystywane są również serwery MDS odpowiedzialne za obsługę metadanych systemu plików.

CRUSH i rozkład danych

Jednym z kluczowych elementów architektury Ceph jest algorytm CRUSH. Pozwala określić sposób rozmieszczania danych w klastrze bez uzależnienia całej operacji od pojedynczej centralnej tabeli lokalizacji danych.

Architektura może uwzględniać różne poziomy awarii, na przykład:

  • dysk,
  • serwer,
  • rack,
  • pomieszczenie lub strefę infrastruktury.

Dzięki odpowiednio przygotowanym regułom CRUSH kopie danych mogą być rozmieszczane tak, aby awaria określonego elementu nie powodowała utraty wszystkich jego replik.

Redundancja ma sens tylko wtedy, gdy kopie danych znajdują się po różnych stronach awarii, przed którą chcemy się chronić.

Replikacja czy Erasure Coding?

Ceph pozwala stosować różne mechanizmy ochrony danych. Ich wybór powinien wynikać z rodzaju workloadu, dostępnej pojemności, oczekiwanej wydajności oraz wymaganego poziomu odporności.

Replicated Pool

Dane są przechowywane w kilku kopiach. To rozwiązanie proste i często wybierane dla storage maszyn wirtualnych, gdzie istotne są przewidywalna wydajność i szybka odbudowa.

Erasure Coding

Dane są dzielone na fragmenty danych i parzystości. Pozwala ograniczyć narzut pojemnościowy, ale wprowadza inne wymagania dotyczące wydajności i architektury.

Dobór do workloadu

Nie istnieje jeden właściwy profil dla każdego zastosowania. Inaczej projektuje się storage pod VM, a inaczej pod archiwum lub object storage.

Ceph wymaga odpowiedniej sieci

Rozproszony storage intensywnie wykorzystuje sieć. Dane muszą być przesyłane pomiędzy klientami i OSD, a podczas awarii lub wymiany dysku klaster wykonuje również operacje odzyskiwania i ponownego rozmieszczania danych.

Dlatego projekt Ceph powinien uwzględniać:

  • przepustowość interfejsów sieciowych,
  • redundancję połączeń,
  • wydajność przełączników,
  • opóźnienia,
  • segmentację ruchu,
  • oczekiwany ruch związany z recovery i rebalancingiem.

Sam zakup szybkich dysków NVMe nie zapewni oczekiwanej wydajności, jeżeli sieć pomiędzy węzłami stanie się wąskim gardłem.

Wydajność Ceph zależy od całej architektury

Ceph nie jest systemem, którego wydajność można określić wyłącznie na podstawie rodzaju zastosowanych dysków.

Znaczenie mają między innymi:

  • liczba hostów i OSD,
  • rodzaj HDD, SSD lub NVMe,
  • wydajność sieci,
  • profil replikacji lub Erasure Coding,
  • rodzaj workloadu i wielkość operacji I/O,
  • liczba równoległych klientów,
  • zapas wolnej przestrzeni,
  • zachowanie klastra podczas recovery.

Klaster powinien być projektowany nie tylko pod wydajność w normalnym stanie, ale również pod zachowanie infrastruktury podczas awarii i odbudowy danych.

Skalowanie bez wymiany całej macierzy

Jedną z zalet architektury rozproszonej jest możliwość rozbudowy klastra poprzez dodawanie kolejnych zasobów.

W zależności od projektu można zwiększać:

  • liczbę dysków,
  • pojemność węzłów,
  • liczbę serwerów storage,
  • wydajność sieci,
  • liczbę zasobów compute w środowisku hiperkonwergentnym.

Po zmianie topologii Ceph może ponownie rozłożyć dane pomiędzy dostępne OSD. Nie oznacza to jednak, że każdy klaster można rozszerzać bez ograniczeń — kolejne etapy rozbudowy powinny być uwzględnione już podczas projektowania architektury.

Ceph nie zastępuje backupu

Rozproszenie danych i replikacja chronią przede wszystkim przed awariami infrastruktury. Nie zapewniają natomiast historycznych punktów odtworzenia potrzebnych po przypadkowym usunięciu danych, błędzie aplikacji czy ataku ransomware.

Jeżeli maszyna wirtualna zostanie usunięta albo jej dane zostaną zaszyfrowane, Ceph prawidłowo zapisze ten nowy stan na wszystkich wymaganych OSD.

Ceph zwiększa dostępność storage. Backup pozwala odzyskać dane z wcześniejszego punktu w czasie. Jedno nie zastępuje drugiego.

Dlatego środowisko Ceph powinno być objęte niezależnym systemem Backup i Disaster Recovery.

Kiedy Ceph ma sens?

Ceph warto rozważyć przede wszystkim wtedy, gdy organizacja:

  • buduje wielowęzłowy klaster Proxmox VE,
  • potrzebuje współdzielonego storage bez pojedynczej macierzy będącej centralnym punktem infrastruktury,
  • projektuje Private Cloud lub infrastrukturę hiperkonwergentną,
  • potrzebuje storage skalowanego wraz ze wzrostem środowiska,
  • chce ograniczyć zależność od zamkniętej platformy storage jednego producenta,
  • posiada wymagania dotyczące wysokiej dostępności danych.

Kiedy Ceph może nie być najlepszym wyborem?

Ceph nie powinien być wdrażany tylko dlatego, że jest rozproszony i Open Source.

W małym środowisku z jednym lub dwoma serwerami jego złożoność może być większa niż korzyści, które zapewnia. Podobnie w przypadku bardzo małego zapotrzebowania na storage prostsza architektura oparta o ZFS lub dedykowaną macierz może być bardziej racjonalna.

Przed wyborem należy ocenić:

  • skalę środowiska,
  • wymaganą dostępność,
  • profil I/O,
  • wymaganą pojemność,
  • infrastrukturę sieciową,
  • budżet,
  • kompetencje potrzebne do dalszego utrzymania klastra.

Ceph jest narzędziem do rozwiązania konkretnego problemu infrastrukturalnego — nie obowiązkowym elementem każdego klastra Proxmox.

Monitoring klastra Ceph

Stan rozproszonego storage powinien być stale monitorowany. Sam status HEALTH_OK nie powinien być jedyną obserwowaną wartością.

Monitoring warto rozszerzyć między innymi o:

  • stan OSD, MON i MGR,
  • stan Placement Groups,
  • wykorzystanie pojemności poszczególnych OSD,
  • latencję operacji storage,
  • wydajność i błędy dysków,
  • stan sieci pomiędzy węzłami,
  • operacje recovery i rebalancing,
  • nierównomierne wykorzystanie storage,
  • tempo wzrostu zajętej przestrzeni.

Ceph może być integrowany z zewnętrznymi systemami monitorowania, dzięki czemu problemy storage mogą być korelowane ze stanem hostów, sieci i maszyn wirtualnych.

Jak projektujemy środowiska Ceph?

01. Wymagania

Określamy wymagania dotyczące pojemności, wydajności, dostępności, workloadów oraz dalszego wzrostu środowiska.

02. Architektura

Dobieramy liczbę węzłów, dyski, sieć, failure domains, pule danych i sposób integracji z warstwą wirtualizacji.

03. Wdrożenie i testy

Uruchamiamy klaster, konfigurujemy monitoring oraz testujemy wydajność i zachowanie środowiska podczas kontrolowanych scenariuszy awarii.

Ceph jako element Private Cloud

Ceph nie powinien być projektowany w oderwaniu od pozostałych warstw infrastruktury. Storage musi współpracować z wirtualizacją, siecią, backupem, monitoringiem i wymaganiami Disaster Recovery.

Dlatego przy większych projektach traktujemy Ceph jako element całej architektury Infrastruktury i Private Cloud, a nie jako osobny system do zainstalowania.

Dobry projekt Ceph zaczyna się od wymagań aplikacji i infrastruktury — nie od liczby dysków, które akurat znajdują się w serwerach.

Jak możemy pomóc?

sLogic Group projektuje i wdraża środowiska Ceph dla klastrów Proxmox VE, Private Cloud i infrastruktury wymagającej rozproszonego storage.

Zakres może obejmować analizę istniejącej infrastruktury, projekt klastra, dobór storage i sieci, konfigurację Ceph, integrację z Proxmox VE, monitoring, testy wydajności oraz plan dalszej rozbudowy.

Jeżeli nie masz jeszcze pewności, czy Ceph jest właściwym rozwiązaniem dla Twojego środowiska, możemy rozpocząć od Audytu i architektury IT.

Projektujesz klaster Proxmox lub Private Cloud?

Przeanalizujemy wymagania dotyczące storage, wydajności i dostępności oraz zaprojektujemy architekturę Ceph dopasowaną do rzeczywistych potrzeb środowiska.

Porozmawiaj o Ceph