Coinbase analizuje majową awarię: kaskadowa awaria AWS ujawnia ryzyka architektoniczne

Coinbase opublikował raport podsumowujący incydent związany z zakrojonym na szeroką skalę przerwaniem świadczenia usług w dniu 7 maja 2026 r.

Awaria trwała około 8 godzin, a pełne przywrócenie sprawności zajęło około 12 godzin. W tym czasie handel, wpłaty, wypłaty oraz większość usług podstawowych były niedostępne lub działały w znacznie ograniczonym zakresie. Coinbase stwierdził, że przyczyną awarii była jednoczesna awaria wielu jednostek chłodzących w systemie klimatyzacji centrum danych w jednej strefie dostępności (use1-az4) w regionie AWS us-east-1, co wywołało wyłączenia termiczne szaf serwerowych, doprowadzając do przejścia instancji EC2 i wolumenów EBS w tryb offline i wpływając na działanie wielu usług internetowych.

Podczas procesu przywracania usług silnik transakcyjny Coinbase utracił kworum z powodu utraty większości węzłów w architekturze klastra wdrożonej w pojedynczym centrum danych AWS. Wymagało to pilnych poprawek w kodzie i przebudowy nowej grupy węzłów w celu przywrócenia działania, przy stopniowym wznawianiu handlu rynkowego w trakcie procesu odzyskiwania.

Dodatkowo, zarządzana usługa Kafka (MSK) w AWS doświadczyła awarii płaszczyzny sterowania, co uniemożliwiło automatyczną reelekcję liderów partycji, dodatkowo blokując systemy kwotowań, opłat oraz niektóre systemy rozliczeniowe i przepływu danych, co zwiększyło ogólny zasięg awarii.

Po ręcznej migracji partycji we współpracy z zespołem inżynierów AWS system stopniowo wrócił do normalnego działania. Coinbase oświadczył, że incydent ten ujawnił niedociągnięcia w zakresie automatycznego przełączania między strefami dostępności oraz odzyskiwania danych po awarii dla zarządzanego oprogramowania pośredniego. Firma zmodernizuje swoją architekturę hot-backupu między regionami, wzmocni regularne testy awaryjne i przeniesie system Kafka z wdrożenia w dwóch strefach dostępności na trzy, współpracując jednocześnie z AWS nad rozwiązaniem przyczyn źródłowych i wprowadzeniem ulepszeń.