Manchmal hat man so einen kurzen Aussetzer, der einem den Tag versauen kann. Da schließt man das Word-Dokument, ohne es zu speichern oder schüttet den halbvollen Kaffeebecher in die gerade durchgelaufene Spülmaschine. So mies wie bei einem Mitarbeiter von Gitlab ist es zum Glück aber selten. Er wollte nur auf dem Server aufräumen - und hätte beinahe das gesamte Geschäft zerstört.
Für durchschnittliche Internet-Nutzer ist Gitlab eher unspannend. Programmierer können dort Softwareprojekte speichern und verwalten. Zu den Kunden gehören Sony, die Nasa und der chinesische Handelsriese Alibaba. Kein schlechter Einstieg für ein Start-up: 25 Millionen Dollar konnte Gitlab an Finanzierung einsammeln.
Ein Schreibfehler reichte aus
Vor zwei Tagen drohte alles den Bach runterzugehen. Eigentlich wollte einer der Administratoren nur die Folgen eines möglichen Angriffs in den Griff kriegen. Ein Nutzer hatte von 47.000 IP-Adressen gleichzeitig auf die Server des Start-ups zugegriffen. Weil der Mitarbeiter vermutete, dass ein leerer Ordner für den daraus resultierenden Ärger verantwortlich sein könnte, gab er einen Befehl in die Kommandozeile ein, um ihn zu löschen.
Dabei vertippte er sich: Statt der Datenbank "db2" gab er "db1" ein - das Verzeichnis, auf dem sämtliche Kundendaten lagen. Als er den Fehler bemerkte, war es zu spät. Von den einst 300 Gigabyte Kundendaten auf dem Server waren nur nur ganze 4,5 Gigabyte übrig. Doch damit war das Elend noch lange nicht vorbei.
Fünf Back-ups funktionierten nicht
Beim Versuch, die Daten wiederherzustellen, bemerkte man, dass nahezu alle Back-up-Methoden versagt hatten. Sicherungen aus dem einen System wurden nur einmal am Tag automatisch angelegt, eine weitere war nicht mit den genutzten Datenbanken kompatibel. Am Ende konnte man eine sechs Stunden alte Sicherung zurückspielen, die ein Mitarbeiter zufällig manuell angestoßen hatte. Alle Daten ließen sich aber nicht retten.
Mittlerweile ist die Rettungsaktion abgeschlossen, berichtet Gitlab in einem Blogpost. Gitlab hat den ganzen Prozess bei Twitter und in einem Livestream extrem transparent begleitet. Der Mitarbeiter habe einen Fehler gemacht, verkündete das Unternehmen. Seinen Job darf er aber behalten. Das Vertrauen der Kunden muss man nun allerdings erst einmal wieder erarbeiten. Dazu will Gitlab den Vorfall detailliert aufarbeiten - damit ein solches Desaster nicht noch einmal vorkommt.
