Statusinformation: Ausfall der Testinfrastruktur mail.4future.email am Samstag, 13.12.
Am Samstag, den 13.12., kam es zu temporären Ausfällen in der Testinfrastruktur von mail.4future.email.
Ursache war eine Überlastung des Datenbank-Clusters. Auf den Cluster-Nodes sammelten sich eine große Anzahl von Schreibtransaktionen im Status „Waiting for Certification“. Dadurch wurden nachfolgende Transaktionen blockiert und nicht mehr abgearbeitet, was letztlich zu einem Stillstand des Systems führte.
Was bedeutet „Waiting for Certification“?
Das eingesetzte Datenbank-Cluster basiert auf einer synchron replizierenden Architektur (Galera Cluster). Jede Schreibtransaktion wird zunächst lokal ausgeführt, darf jedoch erst dann abgeschlossen werden, wenn sie von den anderen Cluster-Nodes bestätigt („zertifiziert“) wurde. In diesem Schritt wird geprüft, ob es zu Konflikten mit parallelen Schreibvorgängen auf anderen Nodes kommt.
Der Status „Waiting for Certification“ bedeutet daher, dass eine Transaktion bereits verarbeitet wurde, aber noch auf die Freigabe durch die übrigen Cluster-Mitglieder wartet. Bei hoher Last oder vielen gleichzeitigen Schreibzugriffen können sich diese Zertifizierungen gegenseitig blockieren. In der Folge stauen sich Transaktionen auf, neue Schreibvorgänge werden nicht mehr abgearbeitet, und das Cluster gerät faktisch in einen Stillstand.
Der genaue Auslöser für die erhöhte Last ist derzeit nicht eindeutig feststellbar. Es wird jedoch vermutet, dass verstärkte Bot-Zugriffe auf mehrere Applikationen, die Schreibzugriffe auf das Cluster durchführen, zur Situation beigetragen haben.
Maßnahme / Lösung
Zur nachhaltigen Stabilisierung wurde die Architektur angepasst:
Schreibzugriffe werden nun gezielt auf einen einzelnen Cluster-Node geroutet und dort sequenziell verarbeitet. Dadurch entfällt die gegenseitige Abhängigkeit der Nodes bei parallelen Schreiboperationen, und der zuständige Node muss nicht mehr auf konkurrierende Replikationen anderer Nodes warten.
Aktueller Status
Die Situation ist seit Umsetzung der Maßnahme stabil. Auf Basis der aktuellen Beobachtungen gehen wir davon aus, dass diese Anpassung das Problem langfristig behebt.
Bei Fragen oder Auffälligkeiten bitten wir um kurze Rückmeldung.
Liebe Grüße
Werner