في تمام الساعة التاسعة من صباح يوم الخميس الماضي، بدا كل شيء طبيعياً تماماً. فقد كان موظفو شركة مايكروسوفت يتوافدون على الحرم الجامعي للشركة، مستعدين لقضاء يوم معتاد في مراجعة البريد الإلكتروني وحضور الاجتماعات. ولكن بعد ساعة واحدة بالكاد، بدأ أحد أسوأ الأعطال في تاريخ شركة مايكروسوفت في الظهور والتكشف، مما ترك الموظفين والشركات والعديد من الحكومات عاجزين عن الوصول إلى رسائل بريد أوتلوك (Outlook) الإلكتروني لمدة تقارب 24 ساعة متواصلة.
بدأت القصة بأكملها في سويسرا، وفقاً لمصدر مطلع على تفاصيل العطل. فقد بدأت خوادم إكستشنج أونلاين (Exchange Online) التي تشغل خدمة أوتلوك عن طريق الخروج عن الخدمة والتوقف عن العمل. وسرعان ما انتشرت المشكلة لتصل إلى المكسيك، ومن ثم إلى دول أخرى حول العالم، بينما محتويات وأنظمة إعادة توجيه حركة المرور الاحتياطية في مايكروسوفت تحاول تحويل حركة البريد الإلكتروني إلى أماكن أخرى. وفي غضون ساعات قليلة، أصبحت أكثر من 80 في المائة من خوادم إكستشنج لا تستجيب على الإطلاق.
تفيد المصادر بأن مايكروسوفت صنفت هذا العطل في نظام تتبع الحوادث الداخلي الخاص بها تحت فئة "sev0"، وهو أعلى مستوى ممكن، مما يشير إلى وقوع مستوى كارثي من تعطل الخدمات. وبدأ مئات المهندسين في محاولة معرفة ما حدث بالضبط، وكيفية استعادة الخدمات. وليس من الغريب أن تتعطل الخوادم في ظروف معينة، لكن مايكروسوفت تمتلك مجموعة متنوعة من الأنظمة المفترض أن تقوم بتوجيه حركة المرور نحو خوادم سليمة لإبقاء النظام الأوسع متصلاً بالإنترنت. وفي هذه الحالة، قامت الأنظمة الاحتياطية بدورها، لكنها ساهمت أيضاً في نشر المشكلة على نطاق أوسع.
في الساعات الأولى من العطل، كان المهندسون يحللون تقارير الأعطال، وسجلات التتبع، ومخلفات الذاكرة لمحاولة العثور على أدلة تقود إلى هذا العطل العملاق. وقد دخلت بعض الخوادم في وضع الصيانة وأصبحت لا تستجيب بسبب أحمال المعالج المركزي (CPU) غير المعتادة. وحاول المهندسون إعادة تشغيل الخوادم وإعادتها للعمل، لكنها غرقت فوراً تقريباً في طوفان من طلبات المرور التي كانت تنتظر الوصول إلى تلك الخوادم.
تقوم خوادم إكستشنج بالتمهيد وتشغيل نظام تشغيل عبر شبكة الإنترنت باستخدام بيئة التمهيد المسبق (PXE)، وهي عملية تتيح لفريق الدعم والمهندسين في مايكروسوفت إدارة تحديثات نظام التشغيل عن بُعد. ومن المفهوم أن التدفق المفاجئ لحركة المرور الناتجة عن إعادة تشغيل الخوادم كان يشكل عبئاً هائلاً على الأنظمة التي تراقبها، مما أدى إلى حدوث نوع من حلقة إعادة التشغيل المستمرة، حيث استمرت الخوادم في محاولة العودة للعمل والفشل مراراً وتكراراً.
وبينما استمر المهندسون في البحث عن السبب الجذري للمشكلة، واجهت مايكروسوفت صعوبات حتى في إعادة الخوادم إلى حالتها السليمة باستخدام عملياتها المعتادة المتمثلة في التراجع عن التغييرات الأخيرة. ومع بدء العالم الخارجي في التساؤل عما إذا كان هذا العطل مرتبطاً بهجوم سيبراني أو بأخطاء برمجية في الذكاء الاصطناعي، كان مهندسو مايكروسوفت يقومون بالفعل بالتحقيق في مسارات الهجوم المحتملة والتواصل مع متخصصين في هجمات حجب الخدمة الموزعة (DDoS) لفهم ما إذا كان هذا هجوماً متكاملاً.
يُذكر أن تقارير الأعطال والسجلات استبعدت بسرعة إحتمالية وقوع هجوم، وبعد فشل عمليات التراجع الأخيرة عن التحديثات، بدأ مهندسو مايكروسوفت في إلقاء نظرة فاحصة على حزمة الشبكات الخاصة بالخوادم واكتشفوا خطأً برمجياً غير معتاد. وكان هذا الخطأ غريباً نظراً لأنه كان موجوداً على بوابات شبكات مايكروسوفت 365 (Microsoft 365) منذ شهر يوليو الماضي دون أن يتسبب في أي تأثير على الخوادم.
وفي هذا السياق، كتب تشارلز لامانا، قائد فريق المساعدين والمنصات (CAP) في مايكروسوفت، في منشور على منصة إكس: "تسبب عيب كامن في جعل الخوادم تتكدس وتصبح عاجزة عن الاستجابة تحت ظروف أحمال معينة". يذكر أن الفرق المسؤولة عن أوفيس، وأوتلوك، ومايكروسوفت تيمز بدأت في رفع تقاريرها إلى لامانا الشهر الماضي بعد أن غادر رئيس قسم أوفيس وتيمز، ريان روسلانسكي، الشركة.
ويصف تقرير مايكروسوفت الأولي الذي أعقب الحادث هذا الخطأ بأنه يؤثر على خوادم ويندوز محددة "بسبب التنافس على القفل داخل عملية داخلية لنظام ويندوز". ولا يؤثر هذا الخطأ على النسخ العادية من ويندوز نظراً لأنه كان نتيجة لإصلاح تم إعداده خصيصاً لبوابات شبكات مايكروسوفت 365.
ولم تكتشف مايكروسوفت هذا الخطأ إلا بعد وقوع هذا العطل الكبير، وأقرت بأن السبب يعود إلى مزيج حركة المرور والأجهزة المستخدمة في مختبرات الاختبار الخاصة بها. وأضاف لامانا: "تتفاقم مشكلة التنافس على الموارد في الأجهزة التي تحتوي على عدد أكبر من النوى والأجهزة الأحدث، بينما تميل اختبارات الأحمال لدينا إلى التركيز على الأجهزة الأضعف ذات النوى الأقل".
وأصبح الخطأ واضحاً بسبب حادثين آخرين أدى إلى زيادة الحمل وتقليل سعة الخوادم. فقبل خمس عشرة ساعة من بدء عطل أوتلوك هذا، تحولت خدمة مايكروسوفت تيمز من بوابة شبكة بديلة إلى البوابة الرئيسية التي تدعم خدمة إكستشنج أونلاين. وأشار لامانا إلى أن "هذا الأمر أدى إلى زيادة الحمل على بوابة الشبكة وتغيير أنماط حركة المرور الخاصة بها". وفي الظروف العادية، لم يكن ليشكّل ذلك مشكلة، ولكن في نفس الوقت تقريباً، كانت نحو 14 في المائة من سعة الخوادم لهذه البوابة "خارج الخدمة بسبب مشكلة غير ذات صلة حدثت في اليوم السابق".






