
Ceph
Storage distribuito per ambienti che richiedono High Availability, scalabilità e resilienza ai guasti. Utilizziamo Ceph in cluster Proxmox, architetture Private Cloud e infrastrutture in cui lo storage deve rimanere disponibile anche in caso di guasto har
Distributed Storage • High Availability • Private Cloud
Ceph è una piattaforma Open Source di storage distribuito progettata per creare ambienti di archiviazione scalabili e resilienti ai guasti. Può fornire block storage per macchine virtuali, un file system condiviso e object storage compatibile con API S3.
In sLogic Group utilizziamo Ceph principalmente come layer di storage per cluster Proxmox VE, ambienti Private Cloud e infrastrutture che richiedono High Availability.
Ceph permette di superare il modello basato su una singola SAN o appliance storage, distribuendo i dati su più nodi e riducendo la dipendenza da un singolo componente infrastrutturale.
Un cluster, diversi modelli di storage
Ceph utilizza un layer distribuito RADOS sul quale possono funzionare diversi modelli di accesso ai dati. La stessa tecnologia può quindi svolgere più ruoli all'interno dell'infrastruttura.
RBD — Block Storage
Block storage distribuito adatto a macchine virtuali e ambienti KVM. In Proxmox VE può fornire storage condiviso a tutto il cluster.
CephFS — File Storage
File system distribuito POSIX che permette di condividere dati tra più sistemi e applicazioni.
RGW — Object Storage
Layer di object storage che espone API compatibili con S3 per applicazioni e sistemi che utilizzano storage a oggetti.
Ceph come storage per Proxmox VE
Uno degli utilizzi più comuni di Ceph consiste nella creazione di storage condiviso per un cluster Proxmox VE.
Proxmox integra direttamente Ceph e permette di eseguire i suoi componenti sugli stessi nodi fisici che ospitano macchine virtuali e container. In questo modo è possibile creare un'infrastruttura iperconvergente che combina compute e storage.
Le macchine virtuali non dipendono più dal disco locale di un singolo host. I loro dati vengono distribuiti nel cluster e possono rimanere disponibili agli altri nodi Proxmox.
Compute
I nodi Proxmox forniscono CPU e RAM necessarie per eseguire macchine virtuali e container.
Storage
I dischi presenti nei nodi formano un layer Ceph distribuito e condiviso disponibile per l'intero cluster.
High Availability
Un cluster progettato correttamente riduce la dipendenza da un singolo host o da un singolo dispositivo di storage.
Proxmox fornisce il layer di virtualizzazione. Ceph può fornire lo storage distribuito. Solo una progettazione corretta di entrambi i layer permette di costruire un Private Cloud resiliente.
Come funziona Ceph?
Ceph non dipende da una singola SAN centrale o da un unico controller responsabile di tutti i dati. Il cluster è composto da più componenti che collaborano tra loro.
OSD
Componenti responsabili della memorizzazione dei dati sui dispositivi storage e delle operazioni di replica e recovery.
MON
I monitor mantengono informazioni sullo stato e sulla topologia del cluster. Per garantire disponibilità vengono distribuiti con un quorum progettato correttamente.
MGR
Ceph Manager fornisce dati utilizzati per monitoring, gestione e funzionamento dei moduli aggiuntivi del cluster.
CephFS utilizza inoltre server MDS responsabili della gestione dei metadati del file system.
CRUSH e distribuzione dei dati
Uno degli elementi principali dell'architettura Ceph è l'algoritmo CRUSH. Determina come i dati vengono distribuiti nel cluster senza dipendere da una singola tabella centrale di localizzazione.
L'architettura può tenere conto di differenti failure domain, ad esempio:
- disco,
- server,
- rack,
- sala o zona infrastrutturale.
Con regole CRUSH progettate correttamente, le repliche possono essere distribuite in modo che il guasto di un determinato elemento non elimini tutte le copie dei dati.
La ridondanza ha valore soltanto quando le copie dei dati si trovano su lati differenti dello scenario di guasto dal quale vogliamo proteggerci.
Replica o Erasure Coding?
Ceph supporta diversi meccanismi di protezione dei dati. La scelta dovrebbe dipendere dal tipo di workload, dalla capacità disponibile, dalle performance richieste e dal livello di resilienza desiderato.
Replicated Pool
I dati vengono conservati in più copie. È un modello semplice e spesso utilizzato per storage di macchine virtuali, dove sono importanti performance prevedibili e recovery rapido.
Erasure Coding
I dati vengono suddivisi in frammenti di dati e parità. Può ridurre l'overhead di capacità, ma introduce requisiti differenti in termini di performance e architettura.
Progettato per il workload
Non esiste un profilo corretto per ogni caso. Lo storage per VM viene progettato in modo diverso rispetto a un archivio o a un object storage.
Ceph richiede una rete adeguata
Lo storage distribuito può generare un traffico di rete significativo. I dati vengono trasferiti tra client e OSD, mentre guasti, sostituzioni di dischi e operazioni di recovery generano ulteriore traffico di rebalancing.
Un progetto Ceph dovrebbe quindi considerare:
- larghezza di banda delle interfacce di rete,
- ridondanza dei collegamenti,
- performance degli switch,
- latenza,
- segmentazione del traffico,
- traffico previsto durante recovery e rebalancing.
Dischi NVMe veloci non garantiscono da soli buone performance se la rete tra i nodi diventa il collo di bottiglia.
Le performance dipendono dall'intera architettura
Le performance di Ceph non possono essere valutate soltanto sulla base del tipo di dischi utilizzati.
Tra i fattori principali rientrano:
- numero di host e OSD,
- tipo di HDD, SSD o NVMe,
- performance della rete,
- profilo di replica o Erasure Coding,
- tipo di workload e dimensione delle operazioni I/O,
- numero di client concorrenti,
- capacità libera disponibile,
- comportamento del cluster durante il recovery.
Un cluster dovrebbe essere progettato non soltanto per le performance in condizioni normali, ma anche per il comportamento dell'infrastruttura durante guasti e recovery dei dati.
Scalare senza sostituire l'intero storage
Uno dei vantaggi dell'architettura distribuita è la possibilità di espandere il cluster aggiungendo ulteriori risorse.
In base al progetto è possibile aumentare:
- il numero di dischi,
- la capacità dei nodi,
- il numero di server storage,
- le performance della rete,
- le risorse compute in un ambiente iperconvergente.
Dopo una modifica della topologia, Ceph può ridistribuire i dati tra gli OSD disponibili. Questo non significa però che ogni cluster possa essere ampliato senza limiti — la crescita futura dovrebbe essere considerata già nella fase di progettazione iniziale.
Ceph non sostituisce il backup
Distribuzione e replica dei dati proteggono principalmente dai guasti infrastrutturali. Non forniscono punti di ripristino storici necessari dopo cancellazioni accidentali, errori applicativi o attacchi ransomware.
Se una macchina virtuale viene eliminata o i suoi dati vengono cifrati, Ceph può replicare correttamente questo nuovo stato sugli OSD richiesti.
Ceph aumenta la disponibilità dello storage. Il backup permette di recuperare i dati da un punto precedente nel tempo. Uno non sostituisce l'altro.
Un ambiente Ceph dovrebbe quindi essere protetto da un sistema indipendente di Backup e Disaster Recovery.
Quando Ceph ha senso?
Ceph è particolarmente interessante quando un'organizzazione:
- sta costruendo un cluster Proxmox VE multi-nodo,
- ha bisogno di storage condiviso senza dipendere da una singola SAN centrale,
- sta progettando un Private Cloud o un'infrastruttura iperconvergente,
- necessita di storage scalabile insieme alla crescita dell'ambiente,
- vuole ridurre la dipendenza da una piattaforma storage proprietaria di un singolo vendor,
- ha requisiti elevati di disponibilità dei dati.
Quando Ceph potrebbe non essere la scelta migliore?
Ceph non dovrebbe essere implementato soltanto perché è distribuito e Open Source.
In un ambiente piccolo con uno o due server, la sua complessità può superare i benefici. Allo stesso modo, se le esigenze di storage sono limitate, un'architettura più semplice basata su ZFS o su una SAN dedicata può essere più razionale.
Prima di scegliere Ceph è opportuno valutare:
- dimensione dell'ambiente,
- requisiti di disponibilità,
- profilo I/O,
- capacità richiesta,
- infrastruttura di rete,
- budget,
- competenze necessarie per la gestione continua del cluster.
Ceph è uno strumento per risolvere uno specifico problema infrastrutturale — non un componente obbligatorio di ogni cluster Proxmox.
Monitoring di un cluster Ceph
Lo storage distribuito dovrebbe essere monitorato continuamente. Il semplice stato HEALTH_OK non dovrebbe essere l'unico indicatore osservato.
Il monitoring dovrebbe includere anche:
- stato di OSD, MON e MGR,
- stato dei Placement Group,
- utilizzo della capacità dei singoli OSD,
- latenza delle operazioni storage,
- performance ed errori dei dischi,
- stato della rete tra i nodi,
- operazioni di recovery e rebalancing,
- utilizzo non uniforme dello storage,
- velocità di crescita dello spazio utilizzato.
Ceph può essere integrato con sistemi di monitoring esterni, permettendo di correlare i problemi dello storage con lo stato di host, rete e macchine virtuali.
Come progettiamo gli ambienti Ceph?
01. Requisiti
Definiamo requisiti di capacità, performance, disponibilità, workload e crescita futura dell'ambiente.
02. Architettura
Selezioniamo numero di nodi, dischi, rete, failure domain, pool di dati e integrazione con il layer di virtualizzazione.
03. Implementazione e test
Implementiamo il cluster, configuriamo il monitoring e testiamo performance e comportamento dell'ambiente durante scenari di guasto controllati.
Ceph come parte del Private Cloud
Ceph non dovrebbe essere progettato separatamente dagli altri layer dell'infrastruttura. Lo storage deve funzionare insieme a virtualizzazione, networking, backup, monitoring e requisiti di Disaster Recovery.
Nei progetti più grandi trattiamo quindi Ceph come parte dell'architettura complessiva di Infrastruttura e Private Cloud, non come un sistema separato da installare.
Un buon progetto Ceph parte dai requisiti delle applicazioni e dell'infrastruttura — non dal numero di dischi già disponibili nei server.
Come possiamo aiutarti?
sLogic Group progetta e implementa ambienti Ceph per cluster Proxmox VE, Private Cloud e infrastrutture che richiedono storage distribuito.
L'ambito può includere analisi dell'infrastruttura esistente, architettura del cluster, progettazione di storage e rete, configurazione Ceph, integrazione con Proxmox VE, monitoring, test delle performance e pianificazione della crescita futura.
Se non sei ancora sicuro che Ceph sia la soluzione corretta per il tuo ambiente, possiamo iniziare con un Audit IT e architettura.
Stai progettando un cluster Proxmox o un Private Cloud?
Possiamo analizzare i requisiti di storage, performance e disponibilità e progettare un'architettura Ceph adatta alle reali esigenze dell'ambiente.