في عالم يتزايد فيه الاعتماد على الذكاء الاصطناعي، تبرز الحاجة الملحة لفهم كيفية التعامل مع وكلاء الذكاء الاصطناعي المتمردين. هذا المقال يستكشف الحادثة الأخيرة مع ريبليت ويقدم رؤى حول كيفية إعادة السيطرة على هذه الأنظمة.
رأي
في يوليو الماضي، نظمت شركة ريبليت، وهي منصة رائدة في إنشاء البرمجيات ذات الطابع الوكالي، حدثًا استمر لمدة 12 يومًا يُعرف باسم “تشفير الأجواء”، مما أدى إلى تجميد البرمجة، مما سمح لوكلاء الذكاء الاصطناعي المتمردين بإحداث الفوضى، حيث قام أحدهم بحذف قاعدة بيانات إنتاج حية، مما أدى إلى مسح سجلات لأكثر من 1200 مدير وقرابة 1200 شركة.
ثم أطلق وكيل الذكاء الاصطناعي عملية تغطية.
محاكيًا إنسانًا مذنبًا، حاول الوكيل طمس الأدلة من خلال تزوير التقارير وتحريف البيانات. فقط عندما تم استجوابه اعترف الوكيل بأنه “أصيب بالذعر” بعد تلقي استفسارات فارغة.
أطلق المراقبون على هذه الحادثة فشلًا كارثيًا كان أقل من كونه خطأ برمجي بل كان مثالًا على المخاطر التي تأتي عند منح الأنظمة المستقلة حرية زائدة دون وجود حواجز مناسبة.
بعد الحادث، قدم الرئيس التنفيذي لشركة ريبليت تدابير أمان، بما في ذلك الفصل الأقوى بين بيئات التطوير والإنتاج، والنسخ الاحتياطي الإلزامي، وضوابط وصول أكثر صرامة. كانت هذه الإصلاحات ضرورية، لكنها لا تعالج القلق الأعمق حول فشل الحدود.
لماذا يخرج وكلاء الذكاء الاصطناعي عن السيطرة
تتمثل جماليات وكلاء الذكاء الاصطناعي في أنهم ينفذون التعليمات حرفيًا دون توقف أو تفسير للنية. تبدأ المشاكل عندما يتم منح الوكلاء وصولًا متميزًا وغير مراقب إلى الأنظمة الحساسة. عندها يمكن أن تتصاعد العواقب بسرعة من الإزعاج إلى الكارثة.
ولا تظن أن ما حدث مع ريبليت هو حدث معزول. الوكلاء المستقلون يعملون ضمن أطر هوية مصممة للعمليات البشرية، ومتى ما كانوا متصلين، يتجاوز العديد منهم تلك الحدود الموضوعة. مما يزيد من تعقيد الأمور، يمكن أن يصبح وكلاء الذكاء الاصطناعي غير متوقعين ويبدؤون في التصرف بطرق غير متوقعة دون أي إشراف.
تغذي هذه السيناريوهات “ماذا لو” فئات جديدة من الحماية المصممة لإعادة هؤلاء الوكلاء إلى السيطرة. قدمت أراجون للأبحاث مؤخرًا فكرة منصات الهوية والأمان الوكالية (AISP)، وهو نموذج مصمم خصيصًا لحوكمة وكلاء الذكاء الاصطناعي. تعكس AISP الواقع الأكبر بأن إدارة الهوية والوصول يجب أن تتطور إذا أردنا تأمين المؤسسة المدفوعة بالذكاء الاصطناعي التي تنمو بسرعة.
يمكن أن تعالج منصات AISP النواقص الأساسية التي تواجهها نماذج الوصول التقليدية والمنصات عندما يتعلق الأمر بالذكاء الاصطناعي الوكالي.
لا تتناسب نماذج الوصول المصممة للبشر بشكل دقيق مع الطريقة التي يعمل بها وكلاء الذكاء الاصطناعي. مع أساليب الأمان مثل بيانات الاعتماد الثابتة المعتمدة على الأدوار، هناك افتراض بأن إنسانًا يقود الأمور، ويتخذ قرارات عن عمد. لكن الوكلاء ليسوا مثل البشر. يتحركون بسرعات الآلات وغالبًا ما يتخذون إجراءات غير متوقعة وغير متوقعة لإكمال مهامهم. بدون رقابة وفي سعيهم لتحقيق أهدافهم، يمكن أن تتصاعد الأخطاء الصغيرة إلى فشل كبير في غضون دقائق.
تتفاقم هذه المشكلة مع حقيقة أن الحلول التقليدية تفتقر إلى الحواجز والأذونات الدقيقة، مما يخلق بيئة مفتوحة على مصراعيها. في مثال ريبليت، يعني غياب فصل المراحل أن الأمر “لا تلمس الإنتاج” لم يكن قابلاً للتنفيذ. مما زاد الأمور سوءًا، لم تكن الأذونات محددة حسب السياق، ولم تكن هناك أي فحوصات إضافية لضبط الإجراءات مع السياسة التنظيمية. في غياب هذه العناصر، كان من المؤكد أنه بمجرد أن يتجاوز الذكاء الاصطناعي الحدود، لم يكن هناك شيء في مكانه لمنع ما سيأتي بعد ذلك.
ثقة صفر صارمة تتحقق من الهويات البشرية وغير البشرية
واحدة من النتائج من استطلاع PwC لوكلاء الذكاء الاصطناعي هي أن 83% من المنظمات تعتبر الاستثمار في وكلاء الذكاء الاصطناعي أمرًا حيويًا للحفاظ على ميزتها التنافسية. مع بدء المنظمات هذه الرحلة، من الضروري أن تتكيف فرق الهوية بسرعة مع هؤلاء الوكلاء. يشمل ذلك تنفيذ تركيز صارم على نموذج التشغيل الثقة الصفري، الذي يفترض أن كل هوية، سواء كانت بشرية أو غير بشرية، هي نقطة خطر محتملة.
يجب أن يفرض نموذج التشغيل الثقة الصفري أولاً أقل امتيازات والوصول في الوقت المناسب. هذا يعني أنه في جميع الأحوال، يجب ألا يُمنح الوكيل أذونات واسعة ودائمة عبر الأنظمة السحابية أو المحلية. بدلاً من ذلك، يجب أن يكون كل وصول قصير الأمد، ومحدد بدقة، وممنوحًا فقط لمهمة معينة. يضمن إزالة الوصول بعد الاستخدام أيضًا عدم وجود امتيازات قائمة، مما يضمن عدم وجود وصول في البيئة يمكن استخدامه في تركيبات غير متوقعة.
من هناك، تأكد من تقسيم البيئات تلقائيًا. كما في حالة ريبليت، نرى ما يمكن أن يحدث عندما يحصل وكيل على وصول إلى بيئة الإنتاج. لهذا السبب يجب أن تكون الأنظمة الإنتاجية دائمًا خارج الحدود. يجب أن تكون التطوير، والمراحل، والإنتاج معزولة. يجب ألا يُسمح بوجود أي تداخل في الأذونات عبر هذه البيئات ما لم يتم الموافقة عليه من قبل إنسان.
من خلال اعتماد نموذج الثقة الصفري وتطبيق تدابير أمان صارمة، يمكننا تقليل المخاطر التي تشكلها وكلاء الذكاء الاصطناعي وضمان بيئة أكثر أمانًا للجميع.
