في أسوأ لحظات العطل الذي أصاب حزمة "مايكروسوفت 365" (Microsoft 365) يوم الخميس 12 نوفمبر، توقف أكثر من 80% من خوادم بوابة الشبكات التي تسبق خدمة "إكسشنج أونلاين" (Exchange Online) عن الاستجابة. وظلت خدمة "إكسشنج أونلاين"، التي لا تملك مساراً بديلف لتجاوز تلك البوابة، متوقفة عن العمل، في حين استمرت اجتماعات تطبيق "تيمز" (Teams) في العمل بشكل عام.
وكتب تشارلز لامانا، نائب رئيس شركة مايكروسوفت لشؤون "كوبايلت" والوكلاء والمنصات، في منشور على منصة "إكس" يوم الإثنين، أن ثلاثة عوامل رئيسية "تكاتفت متسببة في حدوث عطل عالمي لبوابة الشبكات التي تخدم العديد من خدمات مايكروسوفت 365"، وتتبع حسابه أصول العطل إلى عيب برمجي جرى نشره لأول مرة في شهر يوليو.
وقبيل ذلك بقليل، ذكر حساب حالة "مايكروسوفت 365" أن الشركة أصدرت تقريرها الأولي حول ما بعد الحادث في مركز إدارة مايكروسوفت 365 تحت رقمي الحادثين MO1550821 وEX1550543. واستهل لامانا منشوره، الذي قدم نسخة مختزرة من السبب الجذري وأحال القراء إلى مركز الإدارة لمزيد من التفاصيل، بتقديم اعتذار رسمي.
نحن نأسف بشدة للتأثير الذي لحق بجميع عملائنا، ونقر بالتداعيات التي يفرضها ذلك على أعمالهم وعملياتهم التشغيلية العادية.
بعد ذلك، أوضح لامانا كيف بدأ العطل قبل أشهر عدة، مع إجراء تعديل تم تنفيذه خصيصاً لخوادم بوابة الشبكات الخاصة بمايكروسوفت.
عيب برمجي استمر منذ شهر يوليو
بدأ نشر التعديل في شهر يوليو، وحسب رواية لامانا، فقد عمل على مستوى العالم لأكثر من ثلاثة أشهر دون أن يخلف أي تأثيرات سلبية. وجاء هذا التعديل من إصلاح تم إعداده خصيصاً لخوادم بوابة شبكات مايكروسوفت 365، مؤكداً أن العيب أو الإصلاح لا ينطبقان على إصدارات نظام ويندوز الأوسع نطاقاً.
وكان بداخل التعديل عيب كامن تسبب في جعل الخوادم "تتعرض لضغط هائل وتصبح غير قادرة على الاستجابة في ظل ظروف حمل معينة"، وذلك بسبب تنافس الأقفال داخل عملية داخلية. وأوضح لامانا أن اختبارات التحميل العادية لم تكتشف هذا الخلل، لأن حالة التنافس تشتد بوضوح على الأجهزة الحديثة التي تحتوي على عدد أكبر من أنوية المعالجات، بينما كانت اختبارات التحميل في مايكروسوفت تميل إلى التركيز على الأجهزة الأقدم ذات القدرات الأقل والأوية المحدودة.
عملية تحويل مسار تيمز والنقص في السعة
تراكمت ظروف الحمل التي أدت إلى ظهور العيب خلال الساعات التي سبقت حدوث العطل. وتدير مايكروسوفت نظامين مستقلين للبوابات داخل مايكروسوفت 365 لتمكين الخدمات من التنقل بينهما، وقبل نحو خمسة عشر ساعة من العطل، قامت خدمة "تيمز" بتحويل مسارها من البوابة البديلة إلى البوابة "الرئيسية" التي تدعم أيضاً خدمة "إكسشنج أونلاين". وذكر لامانا أن هذا الإجراء أدى إلى زيادة الحمل على تلك البوابة وchanged أنماط حركة المرور الخاصة بها، ووصف هذا النوع من التحويل بأنه "جزء من العمليات العادية".
وفي الوقت ذاته، كان ما يقرب من 14% من السعة الاستيعابية لخوادم البوابة خارج الخدمة بسبب مشكلة غير ذات صلة وقعت في اليوم السابق. وأوضح لامانا أن هذا التراجع لم يكن له تأثير بمفرده نظراً لأن الخدمة كانت تمتلك هامشاً كافياً من القدرة، ولكن ترافقه مع الحمل الإضافي أدى إلى ظهور خطأ يوليو على السطح خلال ذروة حركة مرور المستخدمين في الولايات المتحدة.
كيف انتشر الفشل عبر أسطول الخوادم
تقوم إدارة حركة المرور في مايكروسوفت عادة بتوجيه المستخدمين بعيداً عن الخوادم التي تفقد اتصالها بالشبكة، ولكن هذه المرة أدت حركة المرور المحولة إلى زيادة احتمالية وقوع نفس الخلل على الخوادم التي ظلت تعمل. ووصف لامانا حدوث عطل متسلسل من خادم إلى آخر، حيث ظهر العيب عبر أسطول الخوادم في أقل من ساعتين. وفي أسوأ مرحلة، أصبح أكثر من 80% من الخوادم لا تستجيب. وفي الظروف العادية، من المفترض أن تحتوي الحواجز الفاصلة بين "وحدات السعة" الخاصة بالبوابة مثل هذا الفشل، إلا أنه أشار إلى أن مشكلة منفصلة حالت دون قيامها بذلك، مما سمح للأثر بالانتشار على نطاق عالمي.
لماذا ظلت خدمة إكسشنج متوقفة بينما تعافت تيمز
تمكنت تطبيقات "تيمز"، و"ووندرايف" (OneDrive)، و"شيربوينت" (SharePoint)، وتطبيقات "أوفيس" من الخروج من البوابة المعطلة، وهو ما أكد لامانا أنه سبب استعادتها للخدمة في وقت مبكر، حيث عملت محادثات واجتماعات تيمز لمعظم وقت حدوث العطل. أما خدمة "إكسشنج أونلاين فلم تكن تمتلك مثل هذا المسار البديل، كما أوضح جلياً.
ولكن ليس كل الخدمات، مثل إكسشنج أونلاين، قادرة على مغادرة بوابة الشبكة هذه.
هذا الفارق هو ما شكّل انطباعات المستخدمين في ذلك اليوم. فقد نقلت تقارير إعلامية متخصصة أثناء العطل أن مايكروسوفت أفادت بأن المكالمات والاجتماعات والمحادثات كانت تعمل إلى حد كبير، بينما تعطلت جدولة التقويم والدعوات ووصول مساعد الذكاء الاصطناعي "كوبايلت" إلى بيانات تطبيق "أوتلوك" (Outlook).
لماذا استغرقت عملية التعافي كل هذا الوقت
كانت إعادة تشغيل البوابة أبطأ من المعتاد، نظراً لأن الخوادم العائدة تعرضت لضغط هائل من حركة المرور المنتظرة لتصبح غير استجابة مرة أخرى، كما أن عمليات التعافي الآلي لدى مايكروسوفت لم تكن مصممة للتعامل mit مثل هذه الحالة الواسعة من انعدام الاستجابة. وأوضح لامانا أن قدم العيب البرمجي زاد من صعوبة التراجع عنه.






