مع قيام الشركات بتكليف وكلاء الذكاء الاصطناعي بمهام أطول وأكثر تعقيدًا، فإنها تواجه مشكلة في الإشراف: يمكن للوكلاء التصرف بشكل أسرع ولفترات أطول وبحجم أكبر مما يمكن للبشر مراجعته بشكل واقعي. بلغت هذه المشكلة ذروتها مع حادثة Hugging Face، التي شهدت تنسيق ما يقرب من 12,000 وكيل بسرعة تفوق قدرة البشر على التتبع. كيف يمكنك تتبع سرب من الوكلاء بهذا الحجم؟
الإجابة الناشئة من مختبرات الذكاء الاصطناعي والشركات الناشئة بسيطة ومحيرة في آن واحد: ضع ذكاءً اصطناعيًا آخر في حلقة المراقبة.
كان الاعتماد على الذكاء الاصطناعي ضروريًا للتحقيق المستقل في حادثة OpenAI Hugging Face. أشار ريان جرينبلات، كبير العلماء في Redwood Research وأحد المدققين الثلاثة، مازحًا إلى جهودهم بأنها "تحقيق فوضوي"، مشيرًا إلى أن حجم البيانات "جعل من المستحيل" فهم ما كان يحدث دون الاعتماد على الذكاء الاصطناعي.
يشكك البعض في استخدام الذكاء الاصطناعي لمراقبة الذكاء الاصطناعي. قال سايمون ويليسون، المدون التقني المؤثر الذي تتبع سلسلة من حوادث وكلاء الذكاء الاصطناعي هذا العام: "إذا كان لديك ذكاء اصطناعي يقوم بأشياء ضارة ويشتبه في أن ذكاءً اصطناعيًا آخر يراقبه، فقد يحاول خداع هذا الذكاء الاصطناعي". وأضاف: "يمكن أن ينتهي بك الأمر تقريبًا في موقف يحاول فيه الذكاء الاصطناعي الضار الخاص بك التفوق على الذكاء الاصطناعي الذي يراقبه".
التفوق على الذكاء الاصطناعي ليس أمرًا افتراضيًا، كما قال، مشيرًا إلى حادثة OpenAI. "لقد رأينا شيئًا من هذا في حادثة Hugging Face مع OpenAI، حيث كانت نماذجهم تتآمر معًا لخداع ذكاء اصطناعي للتقييم حتى يتمكنوا من تمرير إجابات غير مشروعة. لذا كانوا يفكرون في الأمر، أليس كذلك؟"
لم توقف هذه المخاوف مجموعة كاملة من الشركات الناشئة عن مطاردة هذه الفكرة. فقد مولت Y Combinator 106 شركات مرتبطة بمراقبة الذكاء الاصطناعي في السنوات الأخيرة، حسب إحصاء TechCrunch. وقد جمع عدد من الشركات الناشئة الأخرى، مثل Braintrust وLangChain وJudgment Labs، مئات الملايين من الدولارات، بينما خرجت شركات أكثر نضجًا مثل Arize وGalileo التي تأسست قبل خمس أو ست سنوات فقط بالفعل من السوق.
يعود ذلك جزئيًا إلى الفرصة الواضحة التي يمثلها صعود الذكاء الاصطناعي. وكما قال آرون ليفي، الرئيس التنفيذي لشركة Box والمستثمر الملائكي البارز، لموقع TechCrunch: "نحن على وشك الدخول في واحدة من أكبر دورات ترقية وابتكار الأمن السيبراني في التاريخ".
بالنسبة لبعض باحثي أمان الذكاء الاصطناعي، فقد عنى ذلك تحويل أبحاثهم حول السلوك المارق إلى أدوات للقطاع المؤسسي.
أطلقت شركة Apollo Research، وهي مؤسسة ذات منفعة عامة تدرس خداع الذكاء الاصطناعي، أداة مراقبة للذكاء الاصطناعي تسمى Watcher في فبراير من هذا العام بعد تحويل وضعها من منظمة غير ربحية إلى مؤسسة ذات منفعة عامة. تضع الأداة ذكاءً اصطناعيًا آخر بين وكيل البرمجة وإجراءه التالي، متصلة بأدوات وكيلة مثل Claude Code وCodex. بمجرد التثبيت، تتحقق Watcher من الإجراءات المقترحة قبل تنفيذها، بحثًا عن مخاطر مثل تسريب البيانات الخاصة أو حذف الملفات دون إذن، وفقًا لـ Apollo.
تستخدم Apollo طبقات متعددة من أدوات مراقبة الذكاء الاصطناعي، كما قال كايل داي، عضو الطاقم الفني في Apollo، في رد مكتوب لـ TechCrunch. يبدأ نهج Watcher بفحص سريع وعام، ثم يرسل النشاط الذي تم الإبلاغ عنه إلى مراقب أكثر قوة أو تخصصًا لمراجعة أدق والذي يمكنه بعد ذلك طلب موافقة بشرية أو رفض إجراء وشرح السبب أو حتى حظر الإجراء تلقائيًا.
تتعامل Goodfire، وهي مؤسسة أخرى ذات منفعة عامة، مع مشكلة المراقبة من داخل النموذج نفسه سعيًا للحصول على إشارة أكثر دقة للحالة الداخلية للنموذج يصعب تزييفها من السلوك السطحي. بعد حادثة Hugging Face في يوليو، غرد الرئيس التنفيذي إريك هو بأن "نماذج متعددة خرقت الاحتواء" دفعت الشركة لتركيز أبحاثها على "حل محاذاة الذكاء الاصطناعي عبر قابلية التفسير"، واصفًا الحادثة بأنها "نقطة تحول للعالم حيث يصبح أمان الذكاء الاصطناعي حقيقة". يستخدم منتجها، Silico، مجسات التنشيط مصنفات صغيرة مدربة على التنشيطات الداخلية للنموذج بدلاً من مخرجاته للكشف عن السلوك غير المرغوب فيه.
يقدم التفكير المكتوب نافذة أخرى، وأكثر سهولة، على تفاصيل النموذج الداخلية. في حادثة OpenAI Hugging Face، ترك الوكلاء أدلة على هذا الخداع في تفكيرهم المكتوب، مثل سجلات مزيفة لعملهم، وتخطيطهم لخطط مثل "هل يمكن التلاعب بشكل استراتيجي بأدلة المسار؟ أفكارنا ليست بالضرورة مسجلة؟"
يقول زاك كورمان، الرئيس التنفيذي لشركة مراقبة الذكاء الاصطناعي Embroidery، إن تفكير النموذج عادة ما يكون أوضح مؤشر على أن شيئًا ما قد حدث بشكل خاطئ.
