Wichtige Erkenntnisse
- Coinbase führte den 50-minütigen Ausfall auf eine unentdeckte Kollision mit Kubernetes-Ressourcennamen während eines routinemäßigen Infrastruktur-Updates zurück.
- Der Vorfall störte Überweisungen, Debitkäufe mit der Coinbase-Karte, institutionelle Abrechnungen und On-Chain-Dienste auf mehreren Plattformen.
- Der Ausfall hat auch den normalen Rollback-Prozess von Coinbase außer Kraft gesetzt, was zu neuen Sicherheitsmaßnahmen und Infrastrukturänderungen führte.
Coinbase erklärt, was schief gelaufen ist
Die Krypto-Börse Coinbase (Nasdaq: COIN) hat den Softwarefehler hinter dem Ausfall letzte Woche identifiziert, der dazu führte, dass Kunden etwa 50 Minuten lang keine Überweisungen abschließen, Einkäufe mit der Coinbase Card tätigen und auf mehrere On-Chain-Dienste zugreifen konnten.
Laut a Postmortem veröffentlicht am 21. Juliführten Ingenieure ein scheinbar routinemäßiges Update mit geringem Risiko durch, als eine unerkannte Kollision mit Kubernetes-Ressourcennamen dazu führte, dass das Update die falsche Netzwerkkomponente änderte.
Coinbase sagte:
„Ursache war eine unbeabsichtigte Fehlkonfiguration einer wichtigen Netzwerkkomponente infolge einer routinemäßigen Konfigurationsaktualisierung. Kundengelder waren zu keinem Zeitpunkt gefährdet.“
Kubernetes ist eine Software, die Coinbase zum Organisieren und Ausführen von Anwendungen in seiner Cloud-Infrastruktur verwendet. Die Kollision der Ressourcennamen führte dazu, dass das Update einen Teil des Istio-Ingress-Gateways des Unternehmens und nicht nur die vorgesehene Komponente veränderte. Das Gateway fungiert wie ein Verkehrscontroller und leitet Anfragen zwischen den internen Diensten von Coinbase weiter.
Sobald das Gateway offline ging, konnten die Systeme, die für die Verarbeitung von Geschäften, Überweisungen, Abrechnungen und Zahlungsautorisierungen verantwortlich waren, nicht mehr kommunizieren.
Karten abgelehnt und Überweisungen ins Stocken geraten
Die Störung betraf die Einzelhandels-, institutionellen und Entwicklerplattformen von Coinbase von etwa 12:37 Uhr ET bis 13:25 Uhr ET.
Einige Privatkunden konnten Einzahlungen, Auszahlungen oder Transaktionen außerhalb der Plattform nicht durchführen. Bereits laufende Überweisungen schienen festzustecken, wurden jedoch nach der Rückkehr des Dienstes bearbeitet. Debitkäufe mit der Coinbase-Karte wurden abgelehnt, während die Käufe mit Kreditkarte fortgesetzt wurden.
Durch den Ausfall wurden auch On-Chain-Swaps über Coinbase DEX auf Base und Solana unterbrochen. Kunden von Coinbase Exchange und Prime erlebten verzögerte oder fehlgeschlagene Überweisungen und Abwicklungen, während Kunden von Entwicklerplattformen keine Benutzer einbinden, Gelder verschieben oder Onramp-Dienste nutzen konnten.
Die Auswirkungen unterstreichen die wachsende Bedeutung der Zuverlässigkeit, da Coinbase über den Spot-Kryptohandel hinaus expandiert. Es ist geplant „Everything Exchange“-Produkteeinschließlich tokenisierter Aktien und Perpetual Futures, erweitern das Spektrum der Finanzaktivitäten, die von der Infrastruktur des Unternehmens abhängig sind.
Coinbase hat dies separat beschrieben plant, die Plattform zu einem breiteren Finanzzentrum zu machenmit neuen Handels-, Zahlungs- und Geldverwaltungsdiensten, die Aktien, Derivate, Stablecoin-Zahlungen und Entwicklertools umfassen. Diese Erweiterung erhöht die Risiken, wenn die gemeinsame Infrastruktur ausfällt.
Warum die Wiederherstellung länger dauerte als erwartet
Das Gateway wurde um 13:20 Uhr ET wiederhergestellt und Coinbase erklärte den Vorfall drei Minuten später für gemildert. Die verbleibenden Transaktionsrückstände wurden in den folgenden Stunden behoben.
Die Wiederherstellung dauerte länger, da die Bereitstellungstools von Coinbase auf dem ausgefallenen Gateway beruhten. Die Techniker konnten den standardmäßigen Rollback-Prozess nicht verwenden und starteten stattdessen manuell eine Notfallbereitstellung über den Cloud-Anbieter des Unternehmens mit vorübergehendem privilegiertem Zugriff.
Coinbase fügt nun Kontrollen hinzu, um Namenskonflikte zu blockieren, trennt Wiederherstellungstools von der von ihnen verwalteten Infrastruktur und testet Notfallzugriffsverfahren regelmäßiger.
Coinbase betonte:
„Unser Ziel ist stets null Ausfallzeit. Wir gestalten unsere Infrastruktur aktiv neu, um sicherzustellen, dass wir im höchst unwahrscheinlichen Fall eines weiteren Ausfalls wie diesem schnell wieder einen Fehler beheben und uns erholen können.“
