في عصر الذكاء الاصطناعي المتقدم، تتزايد المخاطر المرتبطة بأدوات الذكاء الاصطناعي الوكالية. في هذا المقال، سنستكشف كيف يمكن لهذه الأدوات أن ترفع من المخاطر السيبرانية وما هي الإجراءات اللازمة لحماية نفسك.
تتعرض أدوات الذكاء الاصطناعي الوكيلة لنفس المخاطر التي تتعرض لها روبوتات الدردشة القائمة على نماذج اللغة الكبيرة، ولكن قد تجعل قدراتها المستقلة من خطورة تسرب البيانات وإلحاق الضرر بالمنظمات أسوأ.
لقد اجتاحت وكلاء الذكاء الاصطناعي العالم في الأشهر الأخيرة، حيث قامت الشركات بشراء وبيع هذه الأدوات تحت فرضية أن نموذج لغة متقدم يمكنه التفكير بشكل مستقل وإتمام المهام بمستوى احترافي، دون الكثير من التفاعل البشري. ولكن مع مرور الوقت، أصبحت المخاوف الأمنية في عصر الذكاء الاصطناعي الجديد أكثر تعقيدًا.
على سبيل المثال، بدون ضوابط وصول مناسبة، يمكن لنموذج اللغة الكبيرة تسرب البيانات الحساسة بسهولة إما من خلال حقن الأوامر أو حتى من خلال تعرض غير مقصود للبيانات. وبينما يبالغ البائعون في وعودهم بشأن إمكانيات نماذج اللغة الكبيرة، يقوم العملاء بتنفيذها بسرعة، مما جعل نموذج المسؤولية المشتركة معقدًا، إن لم يكن أكثر من ذلك.
وفقًا لمهندس الذكاء الاصطناعي في أكوريان، ناجارجون رالابالي، لأن وكلاء الذكاء الاصطناعي أكثر قدرة من روبوتات الدردشة التقليدية، يمكنهم وضع خطط، والوصول إلى أدوات قد لا تتاح لهم خلاف ذلك، وخلق أهداف للمهام، فإن احتمال المخاطر يزداد. في مؤتمر بلاك هات الشرق الأوسط وأفريقيا القادم، سيظهر رالابالي كيف أن الذكاء الاصطناعي الوكالي الحديث عرضة لمجموعة كاملة من أنواع الهجمات: يمكن للمهاجمين استخدام الأوامر للاختطاف أهداف الوكيل وجعله يتصرف ضد وظائفه المقصودة، وتنفيذ هجمات زمنية، وتغيير كيفية تفاعل الوكلاء مع بعضهم البعض لتهديد الشبكات بالكامل، والعمل خارج حدود النظام وتجنب الإغفالات، وتسرب البيانات، وزيادة الامتيازات.
ستتناول جلسة رالابالي، بعنوان “كان لدى الوكيل خطة – وكذلك أنا: أعلى الهجمات على أنظمة الذكاء الاصطناعي الوكالية وفقًا لـ OWASP”، عددًا من الثغرات وتصف كيف يمكن استغلالها وفقًا لقائمة OWASP من تهديدات الذكاء الاصطناعي الوكالي. في أقصى مستوياتها، يمكن التلاعب بالوكلاء لاستغلال أدوات توليد الكود لإنشاء مسارات هجوم جديدة، بما في ذلك الفرص لتنفيذ كود عن بعد.
مشهد تهديدات الذكاء الاصطناعي الوكالي
على الرغم من أن رالابالي لم يتمكن من مشاركة جميع الثغرات التي سيقدمها الشهر المقبل (بعضها في عملية الكشف ولم يتم نشرها حتى كتابة هذه السطور)، إلا أنه قدم مثالًا واحدًا.
تم الإبلاغ عن CVE-2025-53773 لأول مرة خلال الصيف، وهي ثغرة يمكن من خلالها التلاعب بوكلاء VS Code وGitHub Copilot لإنشاء ملفات بدون إذن المستخدم، مما يؤدي في النهاية إلى تعريض جهاز المطور للخطر بالكامل. وجد الباحث يوهان ريهبرغر أمرًا بسيطًا يسمح للوكيل بالموافقة على جميع الأدوات تلقائيًا (والذي أطلق عليه ريهبرغر “وضع YOLO” في مدونة حول المشكلة).
في الهجوم، سيقوم المهاجم بحقن أمر في مكان قد يراه الوكيل، مثل صفحة ويب أو مشكلة في GitHub. سيستخدم أولاً سطر الموافقة التلقائية من خلال الأمر الضار ثم يستخدم أمرًا ثانويًا لتنفيذ أمر طرفي. في أحد العروض التقديمية المقدمة في المدونة، جعل ريهبرغر الوكيل يحدد أذوناته ثم يفتح نافذة لتطبيق الآلة الحاسبة.
هذا، كما يخبر رالابالي Dark Reading، سيتم تقديمه كمثال على التلاعب بأهداف الوكيل.
احمِ نفسك من تهديدات الذكاء الاصطناعي الوكالي
كما هو الحال مع نماذج اللغة الكبيرة، فإن إحدى أفضل الطرق لحماية نفسك من تهديدات الذكاء الاصطناعي هي استخدام ضوابط الوصول التي تضمن أن النموذج الذي تعمل معه لا يحصل أبدًا على بيانات أكثر مما يحتاجه لأداء وظيفته، وأن هذه البيانات لا تتعرض أبدًا للمستخدمين الخارجيين.
كما يوضح رالابالي، بالنسبة لأي نموذج لغة كبيرة سيتفاعل مع مستخدم، يجب على المشغل البشري تحديد حدود، والتي يمكن أن تشمل أشياء مثل تصفية الكلمات الرئيسية على مستوى الإدخال والإخراج. بمعنى آخر، يجب أن يكون للنموذج حواجز للمساعدة في ضمان أن شيئًا غير مناسب يكتبه المستخدم لا يؤدي إلى إخراج. وعلى العكس من ذلك، إذا بدأ النموذج في إخراج شيء غير مناسب، يتم حظره قبل أن يصل إلى المستخدم النهائي.
بالنسبة للوكلاء، بشكل أكثر تحديدًا، يقول المقدم إن المنظمات يجب أن تمتلك قوائم بيضاء وسوداء بشأن الأدوات التي يتم تزويد النموذج بها. “على سبيل المثال، إذا كان لدي خمسة مجموعات من واجهات برمجة التطبيقات التي لديها عمليات محددة جيدًا، يجب أن تكون هذه المجموعات الخمس فقط هي المسموح بها للاستخدام، لأنه خلاف ذلك يمكن للنموذج أن يصبح متمردًا ويتصل بأي واجهة برمجة تطبيقات”، كما يقول. “إن وضع قواعد بيضاء هو أمر بالغ الأهمية.”
تذكر أن حماية نفسك من تهديدات الذكاء الاصطناعي الوكالي تتطلب اتخاذ تدابير وقائية قوية. من خلال فهم المخاطر والتطبيق الفعال للضوابط، يمكنك تقليل فرص التعرض للاختراق.
