Wyzwanie

Środowisko było rozwijane etapami wraz z rosnącą liczbą usług i klientów. Kolejne elementy infrastruktury spełniały swoje zadanie, ale z czasem zwiększała się liczba zależności pomiędzy wirtualizacją, storage, siecią i backupem.

Przed dalszym skalowaniem konieczne było uporządkowanie architektury oraz ograniczenie ryzyka wynikającego z pojedynczych punktów awarii.

Rosnące środowisko

Infrastruktura musiała obsługiwać coraz więcej usług bez dokładania kolejnych przypadkowych zależności.

Backup

Warstwa ochrony danych wymagała większej niezależności od podstawowego środowiska produkcyjnego.

Odporność na awarie

Należało ograniczyć wpływ awarii pojedynczego hosta, storage lub innego elementu infrastruktury.

Rozwiązanie

Projekt rozpoczęliśmy od analizy istniejącej infrastruktury, zależności pomiędzy usługami oraz sposobu wykorzystania zasobów compute, storage, sieci i backupu.

Na tej podstawie przygotowaliśmy architekturę docelową z wyraźnie rozdzielonymi rolami poszczególnych warstw środowiska.

Wirtualizacja

Uporządkowaliśmy warstwę compute i przygotowaliśmy środowisko klastrowe umożliwiające dalsze skalowanie zasobów.

Storage

Storage został dopasowany do charakterystyki workloadów, wymagań wydajnościowych i oczekiwanej odporności na awarie.

Backup

Warstwę backupową wydzieliliśmy od infrastruktury produkcyjnej i przygotowaliśmy scenariusze odtwarzania systemów po awarii.

Migrację zaplanowaliśmy etapami, tak aby ograniczyć ryzyko i umożliwić weryfikację działania środowiska po przeniesieniu kolejnych usług.

Efekt

Po modernizacji infrastruktura zyskała bardziej przewidywalną strukturę, a poszczególne warstwy środowiska mają jasno określone role.

Mniej zależności

Uporządkowana architektura ułatwia określenie wpływu awarii i ogranicza przypadkowe powiązania pomiędzy usługami.

Lepsze recovery

Niezależna warstwa backupu pozwala planować odtworzenie środowiska również w przypadku problemów z infrastrukturą produkcyjną.

Gotowość do rozwoju

Środowisko można rozwijać poprzez dodawanie zasobów bez przebudowywania całej architektury przy każdym kolejnym etapie.

Wykorzystane technologie i usługi

Proxmox VE Proxmox Backup Server ZFS Zabbix

Modernizacja zaczyna się od architektury

Przy rozbudowanym środowisku wirtualizacyjnym sama wymiana serwerów nie rozwiązuje problemu. Kluczowe jest zrozumienie zależności pomiędzy compute, storage, siecią, backupem i usługami działającymi na platformie.

Dlatego przed migracją przeanalizowaliśmy między innymi rozmieszczenie workloadów, wykorzystanie zasobów, wymagania storage, komunikację sieciową oraz sposób wykonywania i przechowywania kopii zapasowych.

Celem nie była wymiana infrastruktury dla samej wymiany. Chodziło o zbudowanie środowiska, które można przewidywalnie rozwijać, monitorować i odtworzyć po awarii.

Compute, storage i backup jako osobne warstwy

Jednym z głównych założeń projektu było uporządkowanie odpowiedzialności poszczególnych elementów infrastruktury.

Compute

Hosty wirtualizacyjne zapewniają zasoby obliczeniowe dla workloadów i mogą być rozwijane niezależnie od pozostałych warstw.

Storage

Warstwa danych została dobrana pod rzeczywiste wymagania wydajnościowe, pojemnościowe i dotyczące redundancji.

Backup

Kopie zapasowe znajdują się poza podstawową ścieżką produkcyjną i pozostają odrębnym mechanizmem ochrony danych.

Backup to nie High Availability

Klaster, RAID, ZFS czy replikacja zwiększają odporność infrastruktury na określone rodzaje awarii, ale nie zastępują niezależnej kopii zapasowej.

Dlatego backup został potraktowany jako osobna część architektury, z własnymi zasobami, retencją i scenariuszami recovery.

Projektując backup, patrzymy przede wszystkim na możliwość odtworzenia usługi — nie tylko na to, czy zadanie backupowe zakończyło się statusem „success”.

Migracja etapami

Zamiast jednorazowego przenoszenia całego środowiska migrację podzieliliśmy na etapy. Pozwalało to zweryfikować działanie kolejnych elementów infrastruktury i ograniczyć zakres potencjalnego problemu.

Dla kluczowych zmian uwzględniliśmy możliwość rollbacku oraz kolejność przenoszenia usług wynikającą z ich wzajemnych zależności.

Monitoring jako część nowej architektury

Po migracji stan środowiska jest monitorowany centralnie. Monitoring obejmuje nie tylko wykorzystanie CPU i RAM, ale również stan hostów, storage, sieci, backupów i kluczowych usług infrastrukturalnych.

Dzięki temu problemy mogą być identyfikowane na poziomie całej infrastruktury, zamiast dopiero po zgłoszeniu niedostępności przez użytkownika.

Dobra infrastruktura powinna być nie tylko odporna na awarie. Powinna również pozwalać szybko zauważyć, że któryś z jej elementów zaczyna działać nieprawidłowo.

Architektura przygotowana do dalszego rozwoju

Efektem projektu nie jest zamknięte środowisko, którego za kilka lat trzeba będzie ponownie projektować od początku. Poszczególne warstwy mogą być rozwijane wraz ze wzrostem liczby usług, wykorzystania storage i zapotrzebowania na zasoby obliczeniowe.

Takie podejście ogranicza potrzebę doraźnego dokładania kolejnych elementów i pozwala rozwijać infrastrukturę według wcześniej określonego modelu.