Sicherheit geht vor: Der Bericht zu unserem vorübergehenden Ausfall

Was den Ausfall angeht: All diese Services liegen hinter einer Firewall. Diese sorgt dafür, dass nur “legitime” Anfragen über einen definierten Eingangspunkt (im Bild als Trichter dargestellt) an die Micro-Services durchgelassen werden. Bislang haben alle unsere Services untereinander ebenfalls über diese Firewall kommuniziert, um so auch die Kommunikation zwischen den Lexware Office Micro-Services mit einem zusätzlichen “doppelten Boden” abzusichern. Das kann man sich so vorstellen, wie in dem linken Teil des Bildes dargestellt.
Am Tag des Ausfalls ist es dann bei unseren Firewall-Servern trotz mehrfach redundanter Auslegung zu einem Netzwerk-Engpass gekommen – bedingt durch eine außergewöhnlich hohe Zahl gleichzeitiger Kundenzugriffe. Das haben wir nicht kommen sehen, weil unsere Monitoring-Systeme an dieser Stelle genügend freie Kapazität angezeigt hatten.

Netzwerk-Engpass auf den Firewall-Servern
Zusammengefasst wurde unsere äußere Schutzschicht, die Firewall, durch die unerwartete hohe Auslastung zum Flaschenhals, der einen Mega-Stau verursachte. Weil nämlich jeder Service und jede Firewall mehrfach redundant sind, haben sich die Anfragen wie eine Welle aufgebaut. Sie konnten nicht mehr alle gleichzeitig abgearbeitet werden und der Stau vergrößerte sich nach und nach in allen mitarbeitenden Systemen, bis schließlich alles zum Stillstand kam. Natürlich waren wir sofort mit der Problemlösung beschäftigt, aber: Wir mussten erst verstehen, dass die „Stauungen“ bei den einzelnen Micro-Services nicht die Problemursache waren. Als Sofortmaßnahme hatten wir eine Erhöhung der Serverkapazitäten dort durchgeführt, die aber nicht zum Abbau des Rückstaus führte. Die Anzahl der nun zusätzlichen Netzwerkverbindungen der weiteren Server hat das Problem eher noch vergrößert.

Emily: Ohne sicherheitsrelevante Details zu verraten: Wie wurde das Problem letztlich gelöst?

Carsten: Wir haben das System umgebaut. Vereinfacht gesagt, funktioniert Lexware Office jetzt, wie im rechten Teil des Schaubildes dargestellt. Die Firewalls schützen immer noch das Gesamtsystem. Neu ist, dass die Lexware Office Micro-Services jetzt ohne Umweg über die Firewall direkt miteinander kommunizieren. Dazu haben wir neue Sicherungsmaßnahmen eingeführt, über die die Micro-Services sich untereinander identifizieren und mit eigenen Firewall (im Bild rechts die gestrichelten Linien um jeden Micro-Serivice) vor unzulässigen Anfragen von Fremdsystemen schützen. Mit anderen Worten: Die Sicherheit der Direktkommunikation der Micro-Services untereinander ist nun auf eine andere Art gewährleistet. Gleichzeitig ist der ursprüngliche Flaschenhals aufgelöst. Das Problem, das zu diesem Ausfall geführt hat, kann so also nicht mehr auftreten, das verhindern unsere Gegenmaßnahmen effektiv.

Emily: Wieso hat es gedauert, bis die Lösung da war?

Carsten: Der Netzwerk-Engpass bei unseren Firewall-Servern durch die außergewöhnlich hohe Zahl gleichzeitiger Kundenzugriffe war das Problem, aber unsere Monitoring-Systeme haben an dieser Stelle trotzdem ausreichend freie Kapazitäten angezeigt. Die Analyse hat daher mehr Zeit in Anspruch genommen als die Problemlösung, weil wir erst verstehen mussten, dass die angezeigten Werte im Monitoring nicht korrekt waren. Auch das haben wir natürlich sofort korrigiert, nachdem wir das erkannt hatten. Zudem haben wir unsere technischen Tests auf unseren „Staging-Systemen“ (das sind Lexware Office Systeme, die wir zum Testing und zur Qualitätssicherung verwenden) erweitert, um genau dieses Szenario vor jedem Release automatisch zu testen.

Kein Angriff – außergewöhnlich viele Kundenzugriffe parallel
Emily: War die Datensicherheit der Kunden zu jedem Zeitpunkt gewährleistet?

Carsten: Ja, auf jeden Fall. Wir haben den Vorfall genau analysiert und keinerlei Anzeichen dafür gefunden, dass die Überlastung auf einen böswilligen Angriff zurückzuführen war – und wir haben auch keinerlei Anzeichen dafür gefunden, dass jemand versucht haben könnte, ungewöhnlich viele Daten abzurufen.

Emily: Wer hat sich um das Problem gekümmert? Wie kann ich mir das vorstellen?

Carsten: Bei Lexware Office haben wir spezielle Notfallpläne und wir machen regelmäßig Notfallübungen in allen – inzwischen neun – Lexware Office Teams. Nach diesen Plänen haben wir gearbeitet.

In diesem Fall war es so, dass wir zunächst Unregelmäßigkeiten in unserer System-Anzeige bei den Antwortzeiten der Server festgestellt haben. Die gingen auf einmal drastisch hoch. Parallel haben sich die Kundenanfragen in unserem Support-Ticketing System gehäuft: Daraufhin hat der diensthabende Notfallkoordinator unseren Notfallplan in Kraft gesetzt.

Dieser Plan sieht vor, dass zunächst das gesamte Lexware Office Team inklusive unserer Geschäftsleitung alarmiert wird. Damit einher geht, dass die Problemlösung vor allen anderen Aufgaben priorisiert wird und sich schnellstmöglich Vertreter aus allen Teams für ein Lagebild versammeln. Alle verfügbaren Informationen werden gesammelt. Anhand dieses ersten Überblicks verteilen wir Aufgaben, offene Fragen und mögliche Antworten zur Prüfung. Dann vereinbaren wir einen Zeitpunkt, zu dem wir uns wieder treffen – und legen ohne Verzögerungen los.

Während Engineering und Operations Spezialisten damit beschäftigt sind, die Problemursache einzugrenzen und so zeitnah wie möglich zu beheben, arbeiten unsere Support-Heros und Kommunikationsprofis daran, unsere Kunden bestmöglich über den Fortschritt auf dem Laufenden zu halten. Alle Lexware Office Mitarbeiter sitzen im gleichen Gebäudeteil auf dem Haufe.Group Campus in Freiburg, sodass unsere internen Kommunikationswege kurz sind.

Emily: Wie häufig treten solche Probleme denn auf?

Carsten: Ein Ausfall dieser Größenordnung? Das war der erste in den fünf Jahren überhaupt, seit es Lexware Office gibt und wir haben ihn zum Anlass genommen, unsere Notfallprozeduren insgesamt anzupassen und zu optimieren.