تقوم منصة "ثاوزند آيز" (ThousandEyes) بمراقبة نشطة لإمكانية الوصول وأداء آلاف الخدمات والشبكات عبر شبكة الإنترنت العالمية، وهي بيانات نستخدمها لتحليل حالات انقطاع الخدمة والحوادث الأخرى. يستند التحليل التالي إلى مراقبتنا الواسعة، فضلاً عن خدمة رصد الأعطال العالمية التابعة لـ "ثاوزند آيز" والمعروفة باسم "إنترنت إنسايتس" (Internet Insights).
في الثاني عشر من نوفمبر، بدأ الأمر باتصال منقطع مع خدمة "أوتلوك" (Outlook) للمستخدمين في أمريكا الشمالية، وسرعان ما تحول إلى عطل عالمي استمر طوال اليوم تقريبا. رصدت منصة "ثاوزند آيز" فشل الاتصالات بخدمة "أوتلوك" بدءاً من حوالي الساعة 17:30 بالتوقيت العالمي المنسق (UTC)، وذلك بعد اضطراب قصير الأمد حدث داخل شبكة شركة مايكروسوفت قبل نحو 90 دقيقة، ولم يتم استعادة الخدمة بالكامل إلا قبيل الساعة 14:00 بالتوقيت العالمي المنسق في الثالث عشر من نوفمبر. ومن جانبها، عزَت شركة مايكروسوفت الحادث لاحقاً إلى مشكلة ظهرت أثناء ترقية سابقة لسعة الشبكة، والتي برزت على السطح إثر تغيير حدث مؤخراً في الشبكة.
تفسّر إجابة مايكروسوفت كيف بدأ الانقطاع؛ بينما تُظهر ملاحظاتنا كيف تطور الأمر. ففي غضون نصف ساعة تقريباً، وصل الاضطراب إلى كل منطقة وأثر على العديد من خدمات مايكروسوفت 365 (Microsoft 365). وبدا أن عمليات تسجيل الدخول وبوابة مايكروسوفت 365 قد عُمل على استعادتها في غضون ساعتين، إلا أن خدمة "أوتلوك" ظلت غير متاحة طوال الليل بينما عملت مايكروسوفت على خطوات الإصلاح التي شملت إعادة توزيع حركة المرور وإعادة تشغيل الخوادم. وشهدت بعض المناطق تحسينات لفترات قصيرة خلال الليل قبل أن يبدأ التعافي المستدام، وبعد ذلك عادت الخدمة على مراحل، منطقة تلو الأخرى، على مدار نحو أربع ساعات.
تابع القراءة للحصول على تحليل متعمق لما حدث والدروس التي يتركها لفرق تكنولوجيا المعلومات والعمليات الشبكية في المؤسسات.
استكشف الانقطاع عبر منصة ثاوزند آيز (لا يتطلب تسجيل الدخول).
اضطراب سابق في شبكة مايكروسوفت
حوالي الساعة 15:45 بالتوقيت العالمي المنسق، رصدت "ثاوزند آيز" اضطراباً داخل شبكة مايكروسوفت والذي تفاقم خلال الـ 25 دقيقة التالية.
تم تصميم خدمات مايكروسوفت 365 لاستيعاب مثل هذه الأعطال تلقائياً. حيث تراقب خدماتها صحتها الذاتية وتقوم بتوجيه حركة المرور بعيداً عن المشكلات، مستخدمة مسارات شبكية متعددة و شبكات محددة برمجياً لإدارة حركة المرور على نطاق واسع، بحيث يتم تجاوز المكون الفاشل قبل أن يلاحظه المستخدمون. وقد أشارت مايكروسوفت إلى أنها رصدت ارتفاعاً في مشكلات الاتصال بعد وقت قصير من الساعة 16:00 بالتوقيت العالمي المنسق، وأن أنظمتها الآلية بدأت في إعادة توجيه حركة المرور نحو نقاط النهاية السليمة استجابة لذلك. ويتطابق الاضطراب الذي رصدته "ثاوزند آيز" مع تسلسل الأحداث هذا.
بدا أن اضطراب الشبكة قد زال بحلول الساعة 16:15 بالتوقيت العالمي المنسق، لكن مايكروسوفت أشارت إلى أن مشكلات الاتصال استمرت في التزايد خلال الساعة التالية. وبحلول الساعة 17:50 بالتوقيت العالمي المنسق، كانت الاتصالات بخدمة أوتلوك تفشل في جميع أنحاء العالم.
المشكلة الأولية: فشل اتصالات أوتلوك عالمياً
ظهرت الإخفاقات الأولى في أمريكا الشمالية في حوالي الساعة 17:20 بالتوقيت العالمي المنسق. وفي غضون نصف ساعة، انتشرت الإخفاقات ذاتها إلى أوروبا، وبحلول الساعة 17:50 بالتوقيت العالمي المنسق تأثرت معظم مناطق آسيا والمحيط الهادئ. ووصف أول تحديث عام أصدرته مايكروسوفت معاناة المستخدمين في الأمريكتين من صعوبة الوصول إلى صناديق البريد الخاصة بهم، لتؤكد قريباً بعد ذلك أن المستخدمين في أي منطقة قد يتأثرون.
توضح طريقة تقديم خدمة "أوتلوك" سبب أهمية هذا النمط. تقدم مايكروسوفت خدمة إكستشنج أونلاين (Exchange Online) من بنيتها التحتية في العديد من المناطق، لذا يمكن استيعاب المشكلة في موقع واحد بواسطة مواقع أخرى دون أن يلاحظ المستخدمون شيئاً. إن فشل البنية التحتية الإقليمية، مثل انقطاع التيار الكهربائي عن مركز بيانات أو انقطاع كابل ألياف ضوئية، سيظهر على شكل مجموعة من الإخفاقات في جغرافيا واحدة بينما تظل المناطق الأخرى تعمل.
لم يكن هذا ما حدث هنا. فقد وصلت الإخفاقات إلى كل منطقة في غضون نصف ساعة تقريباً من بعضها البعض. وعندما تفشل البنية التحتية المنفصلة جغرافياً معاً، عادة ما يكون السبب شيئاً مشتركاً بينها جميعا: مكون برمجري، أو تكوين معين، أو نظام تحكم، أو تغيير شبكي تم تطبيقه في كل مكان. ومن البداية، كان الاعتماد المشترك مرشحاً ليكون التفسير الأكثر ترجيحاً بدلاً من الخلل الإقليمي.
كانت بداية الانقطاع مفاجئة نسبياً داخل كل منطقة ومتداخلة عبر المناطق على مدار نحو نصف ساعة، بدءاً من أمريكا الشمالية. ويتسق هذا النمط مع حدث منفصل ينتشر عبر البنية التحتية لمايكروسوفت أكثر من كونه زيادة تدريجية في الطلب تفوق السعة، وهو يتناقض مع عملية التعافي التي استغرقت نحو أربع ساعات لاجتياز كل منطقة.






