Wie Amazon in einem Blog berichtet, geht der großflächige und mehrstündige Ausfall etlicher AWS-Dienste in der Region US-EAST-1 Ende Februar auf einen menschlichen Irrtum zurück.
Der Blog beschreibt, wie ein Mitarbeiter ein Performanceproblem mit den S3-Billingdiensten debuggen und dafür eine kleine Anzahl der Billingserver abschalten wollte. Dabei übergab er dem Kommando aber falsche Parameter und ein viel größere Anzahl Server wurde abgeschaltet. Das wiederum führte zu einem Dominoeffekt, denn auf einigen der Server lief ein Indexdienst, der die Metadaten aller S3-Speicherobjekte der Region verwaltete. In der Folge konnte der Speicherdienst keine Get-, List-, Put- oder Delete-Befehle mehr ausführen. Der S3-Ausfall zog dann weitere Ausfälle davon abhängiger Dienste nach sich, so von der Amazon Elastic Compute Cloud (EC2), dem Amazon Elastic Block Store (EBS) und von AWS Lambda.
Amazon hat aus dem Vorfall Konsequenzen gezogen, die eine Wiederholung vermeiden sollen. So sperrt sich das verwendete Tool in Zukunft gegen eine zu große Verminderung der Kapazität in zu kurzer Zeit. Das würde Eingabefehler auffangen. Außerdem will man sich sofort um einen schnelleren Wiederanlauf des S3-Indexsystems bemühen.
