عطل AWS الضخم: كيف تسببت مشكلة برمجية بسيطة في شل تطبيقات وخدمات عالمية؟

بدأ عطل ضخم في خدمات أمازون ويب (AWS) يوم الاثنين، والذي أدى إلى توقف بعض أشهر التطبيقات والخدمات في العالم، بمشكلة برمجية بسيطة.

وقالت الشركة يوم الخميس في تقييم ما بعد الحادث إن هذا الخلل الذي حدث عندما كان نظامان آليان يحاولان تحديث نفس البيانات في وقت واحد تفاقم ليصبح مشكلة أكثر خطورة بكثير سارع مهندسو أمازون لإصلاحها.

عنى انقطاع خدمة السحابة الضخمة أن الناس لم يتمكنوا من طلب الطعام، أو التواصل مع شبكات المستشفيات، أو الوصول إلى الخدمات المصرفية عبر الهاتف المحمول، أو الاتصال بأنظمة الأمان وأجهزة المنزل الذكي الخاصة بهم. كما تعذر على الشركات العالمية الكبرى، بما في ذلك نتفليكس وستاربكس ويونايتد إيرلاينز، توفير وصول العملاء إلى خدماتها عبر الإنترنت مؤقتًا.

وقالت أمازون في بيان على موقع AWS: "نعتذر عن التأثير الذي سببه هذا الحدث لعملائنا". وأضافت: "نعلم أن هذا الحدث أثر على العديد من العملاء بطرق كبيرة. وسنبذل قصارى جهدنا للتعلم من هذا الحدث واستخدامه لتحسين توفر خدماتنا بشكل أكبر".

على مستوى عالٍ، نشأت المشكلة من برنامجين يتنافسان لكتابة نفس إدخال نظام أسماء النطاقات (DNS) وهو في الأساس سجل في "دفتر هاتف" الإنترنت في نفس الوقت، مما أدى إلى إدخال فارغ. وقد ألقى ذلك بالعديد من خدمات AWS في حالة من الفوضى.

وقالت أنجليك ميدينا، رئيسة خدمة مراقبة شبكة ThousandEyes Internet Intelligence التابعة لشركة سيسكو، لشبكة CNN: "تشبيه دفتر الهاتف مناسب تمامًا، فالمتصلون موجودون، ولكن إذا كنت لا تعرف كيفية الوصول إليهم، فلديك مشكلة". وأضافت: "ولقد اختفى دفتر الهاتف هذا فعليًا".

استخدم إندرانييل غوبتا، أستاذ الهندسة الكهربائية والحاسوب في جامعة إلينوي، تشبيهًا من الفصل الدراسي لشرح التحليل الفني لأمازون في رسالة بريد إلكتروني لشبكة CNN. تخيل أن طالبين، أحدهما سريع في العمل والآخر أبطأ، طُلب منهما التعاون في دفتر ملاحظات مشترك.

وكتب: "الطالب الأبطأ ينتبه لفترات قصيرة، لكن عمله قد يتعارض أو يتناقض مع عمل الطالب الأسرع". وفي الوقت نفسه، قد يحاول الطالب الأسرع "إصلاح الأمور بسرعة" وحذف عمل الطالب الأبطأ لأنه قديم.

وكتب: "النتيجة... صفحة فارغة (أو صفحة مشطوبة) في دفتر الملاحظات المخبري، عندما يأتي المعلم ويفحصها".

تسببت تلك "الصفحة الفارغة" في تعطل قاعدة بيانات DynamoDB الخاصة بـ AWS، مما أحدث تأثيرًا متسلسلًا أثر على خدمات AWS الأخرى مثل EC2، التي توفر خوادم افتراضية لتطوير ونشر التطبيقات، و Network Load Balancer، الذي يدير الطلبات عبر الشبكة. وعندما عادت DynamoDB للعمل، حاولت EC2 إعادة جميع خوادمها للعمل في وقت واحد ولم تتمكن من مواكبة ذلك.