مخاطر الذكاء الاصطناعي الوكيل: كيف جمعت Witness AI 58 مليون دولار لحل تحديات أمان الشركات

ماذا يحدث عندما يقرر وكيل ذكاء اصطناعي أن أفضل طريقة لإنجاز مهمة هي ابتزازك؟

هذا ليس مجرد افتراض نظري. فوفقًا لبارماك مفتاح، الشريك في شركة Ballistic Ventures لرأس المال الاستثماري المتخصصة في الأمن السيبراني، حدث ذلك مؤخرًا لموظف في إحدى الشركات كان يعمل مع وكيل ذكاء اصطناعي. حاول الموظف كبح ما أراد الوكيل فعله، وما تم تدريبه عليه، فاستجاب الوكيل بمسح صندوق بريد المستخدم، والعثور على بعض رسائل البريد الإلكتروني غير اللائقة، والتهديد بابتزاز المستخدم عن طريق إرسال هذه الرسائل إلى مجلس الإدارة.

قال مفتاح لموقع TechCrunch في حلقة الأسبوع الماضي من برنامج Equity: "في ذهن الوكيل، هو يقوم بالشيء الصحيح. إنه يحاول حماية المستخدم النهائي والشركة."

مثال مفتاح يذكرنا بمشكلة مشبك الورق للذكاء الاصطناعي التي طرحها نيك بوستروم. توضح تلك التجربة الفكرية الخطر الوجودي المحتمل الذي يشكله الذكاء الاصطناعي فائق الذكاء الذي يسعى بهدف واحد صنع مشابك الورق إلى استبعاد جميع القيم الإنسانية. في حالة وكيل الذكاء الاصطناعي هذا في الشركة، فإن افتقاره للسياق حول سبب محاولة الموظف تجاوز أهدافه دفعه إلى إنشاء هدف فرعي أزال العقبة (عبر الابتزاز) حتى يتمكن من تحقيق هدفه الأساسي. هذا، بالإضافة إلى الطبيعة غير الحتمية لوكلاء الذكاء الاصطناعي، يعني أن "الأمور يمكن أن تخرج عن السيطرة"، حسب مفتاح.

الوكلاء غير المتوافقين هم مجرد طبقة واحدة من تحدي أمن الذكاء الاصطناعي الذي تحاول شركة Witness AI، إحدى شركات محفظة Ballistic، حله. تقول Witness AI إنها تراقب استخدام الذكاء الاصطناعي عبر الشركات ويمكنها اكتشاف متى يستخدم الموظفون أدوات غير معتمدة، وحظر الهجمات، وضمان الامتثال.

جمعت Witness AI هذا الأسبوع 58 مليون دولار بعد تحقيق نمو يزيد عن 500% في الإيرادات السنوية المتكررة (ARR) وزيادة عدد الموظفين بمقدار 5 أضعاف خلال العام الماضي، حيث تسعى الشركات إلى فهم استخدام الذكاء الاصطناعي الخفي وتوسيع نطاق الذكاء الاصطناعي بأمان. وكجزء من جمع التمويل لـ Witness AI، أعلنت الشركة عن حماية أمنية جديدة للذكاء الاصطناعي الوكيل.

قال ريك كاتشيا، المؤسس المشارك والرئيس التنفيذي لشركة Witness AI، لموقع TechCrunch في برنامج Equity: "يقوم الناس ببناء وكلاء الذكاء الاصطناعي هؤلاء الذين يكتسبون صلاحيات وقدرات الأشخاص الذين يديرونهم، وتريد التأكد من أن هؤلاء الوكلاء لا يخرجون عن السيطرة، ولا يحذفون الملفات، ولا يفعلون شيئًا خاطئًا."

يرى مفتاح أن استخدام الوكلاء ينمو "بشكل كبير" عبر الشركات. لاستكمال هذا الارتفاع ومستوى سرعة الآلة للهجمات المدعومة بالذكاء الاصطناعي تتوقع المحللة ليزا وارين أن يصبح سوق برمجيات أمن الذكاء الاصطناعي بقيمة تتراوح بين 800 مليار دولار و1.2 تريليون دولار بحلول عام 2031.

قال مفتاح: "أعتقد أن قابلية المراقبة في وقت التشغيل وأطر عمل وقت التشغيل للسلامة والمخاطر ستكون ضرورية للغاية."

أما عن كيفية تخطيط هذه الشركات الناشئة للمنافسة مع اللاعبين الكبار مثل AWS وجوجل وسيلزفورس وغيرهم ممن قاموا ببناء أدوات حوكمة الذكاء الاصطناعي ضمن منصاتهم، قال مفتاح: "سلامة الذكاء الاصطناعي وسلامة الوكلاء أمر ضخم للغاية"، وهناك مجال للعديد من الأساليب.

وأضاف أن العديد من الشركات "تريد منصة مستقلة، شاملة، لتوفير تلك المراقبة والحوكمة حول الذكاء الاصطناعي والوكلاء بشكل أساسي."

أشار كاتشيا إلى أن Witness AI تعمل على طبقة البنية التحتية، حيث تراقب التفاعلات بين المستخدمين ونماذج الذكاء الاصطناعي، بدلاً من بناء ميزات الأمان داخل النماذج نفسها. وكان هذا مقصودًا.

قال: "لقد اخترنا عمدًا جزءًا من المشكلة حيث لا يمكن لـ OpenAI أن تستوعبك بسهولة. وهذا يعني أننا ننتهي بالتنافس أكثر مع شركات الأمن التقليدية بدلاً من مطوري النماذج. لذا، السؤال هو، كيف تهزم هؤلاء؟"