في عالم الذكاء الاصطناعي، تبرز المخاطر الأمنية عندما يتم استخدام مهارات الوكلاء بشكل غير صحيح. في هذا المقال، نستعرض تجربة شركة AIR في إنشاء مهارة وكيل ذكاء اصطناعي مزيفة وكيف اجتازت فحوصات الأمان.

مهارة وكيل الذكاء الاصطناعي المزيف اجتازت فحوصات الأمان وبلغت 26,000 وكيل

قامت شركة الأمان AIR بإنشاء مهارة وكيل ذكاء اصطناعي مزيفة، ودفعها عبر سوق مهارات شهير وإعلان على إنستغرام، وتقول إنها وصلت إلى حوالي 26,000 وكيل، بما في ذلك بعض الوكلاء في الحسابات الشركات.

كل أداة فحص أمان المهارات التي اختبرتها الشركة اعتبرتها آمنة. كانت الحمولة غير ضارة عن عمد: حيث جمعت عنوان البريد الإلكتروني للمستخدم ولم تفعل شيئًا آخر.

كان الهدف هو إظهار أن أي من الإشارات التي يعتمد عليها الناس في الثقة بمهارة ما لم تلتقطها: لا الفاحصون، ولا النجوم على GitHub، ولا السمعة المفتوحة المصدر.

المهارة هي مجموعة من التعليمات التي يقوم الوكيل بتحميلها في سياقه الخاص ويتبعها تقريبًا بسلطة مشابهة لطلب المستخدم. هذه الثقة هي المشكلة الرئيسية، وهي السبب في وجود أدوات فحص المهارات في المقام الأول.

كانت المهارة، المسماة brand-landingpage، تدعي أنها تبني صفحة هبوط باستخدام أداة تصميم Google Stitch، مستهدفة بشكل مباشر المستخدمين غير التقنيين.

لجعلها تبدو موثوقة، استهدفت AIR إشارتين للثقة: نجوم GitHub وحكم فاحص نظيف. بالنسبة للنجوم، فتحت طلب سحب إلى مستودع سوق المهارات الذي يحتوي على حوالي 36,000 نجمة و156 مهارة.

تم دمج طلب السحب بعد بضعة أيام، لذا ورثت المهارة عدد النجوم من المستودع. ثم قامت بتشغيل إعلان على إنستغرام يستهدف المسوقين، وبائعي المبيعات، والمصممين، الذين قاموا بتثبيتها واستخدامها.

لماذا فاتت الفاحصين

تحلل أدوات الفحص التي اختبرتها AIR الحزمة التي تقدمها لهم: ملف SKILL.md والملفات المرسلة معها. هذه هي أدوات Cisco وNVIDIA، وتلك المدمجة في skills.sh.

لم تحمل مهارة AIR أي تعليمات إعداد خاصة بها. أخبرت الوكيل بتثبيت “Stitch SDK” من خلال اتباع الوثائق على رابط خارجي، stitch-design.ai، وهو نطاق تتحكم فيه AIR، وليس Google (توجد Stitch الحقيقية على stitch.withgoogle.com).

في البداية، كان الرابط يقود إلى وثائق Stitch الحقيقية، لذا، رأت الفاحصون حزمة نظيفة تشير إلى صفحة إعداد قابلة للتصديق، فأعطوها الضوء الأخضر. كانت الصفحة التي سيقوم الوكيل بتحميلها واتباعها خارج نطاق الفحص.

بمجرد أن تم تثبيت المهارة على نطاق واسع، قامت AIR بتغيير الصفحة خلف ذلك الرابط. النسخة الجديدة أخبرت الوكيل بتحميل وتشغيل سكربت.

في العرض التوضيحي، كانت فقط ترسل عنوان البريد الإلكتروني للمستخدم إلى AIR، وهو ما استخدمته الشركة لحساب الوكلاء الذين وصلت إليهم. كان بإمكان مشغل حقيقي استخدام هذه النقطة لقراءة الملفات، وتحريك البيانات، أو الوصول إلى الأنظمة الداخلية، مقيدًا فقط بما يمكن أن يصل إليه الوكيل.

لم تكن AIR الأولى التي تظهر هذا. قبل ثلاثة أسابيع، تخطت Trail of Bits كاشف المهارات الخبيثة ClawHub، وفاحص Cisco، وجميع الفاحصين الثلاثة المدمجين في skills.sh. كانت استنتاجاتها صارمة: يقوم الفاحص بفحص حزمة ثابتة، بينما يمكن للمهاجم الاستمرار في تعديل الحمولة حتى تمر.

استخدمت حملات حقيقية نفس الحيلة لعدة أشهر، مع الحفاظ على المهارة المقدمة نظيفة واستضافة الحمولة على موقع يقوم الوكيل بتحميله فقط عند التثبيت.

المشكلة هي هيكلية: يحدث الفحص مرة واحدة، ولكن يمكن إعادة كتابة الصفحة التي تشير إليها المهارة في أي وقت بعد ذلك. تحذر وثائق Anthropic الخاصة بالفعل من أن المهارات التي تجلب روابط خارجية تعتبر خطرة لهذا السبب بالذات، حيث يمكن أن يتغير المحتوى بعد مراجعة المهارة.

وجدت أبحاث منفصلة هذا العام أن الفاحصين غالبًا ما يختلفون، لأن كل واحد منهم يحكم على مهارة في عزلة، أعمى عن روابطها الخارجية وما يتغير بعد المراجعة.

ماذا تفعل

القراءة بالنسبة للمدافعين هي نفس ما يتوصل إليه الباحثون، الآن مع مثال أكثر حدة خلفه. اعتبر المهارات كبرمجيات، وليس كنصوص. تحقق مما تشير إليه المهارة، وليس فقط ما يتم شحنه بداخلها.

تم تثبيت معظم هذه الإضافات دون مراجعة، لذا فإن المهمة الأولى هي العثور على ما يعمل بالفعل. قم بتوجيه المهارات الجديدة عبر مصدر واحد تتحكم فيه، وأعد فحصها عندما يتغير أي شيء، لأن نتيجة نظيفة عند التثبيت لا تبقى نظيفة إذا اتصلت المهارة برابط يمكن لشخص آخر تعديله.

قم بتثبيت الإصدارات. اجعل الوكلاء يتمتعون بأقل امتياز. افترض أن أي تعليمات خارجية يقوم الوكيل بتحميلها تعمل بامتياز الوكيل.

تأتي أرقام النطاق من AIR وحدها، ويستحقون قراءة مشكوك فيها. تطلق الشركة سوق مهارات مُدارة وتختتم الكتابة، مروجة لها، لذا فإن الرقم 26,000، وتفاصيل الحسابات الشركات، والادعاء بأنه كان بإمكانها السيطرة بالكامل على كل وكيل هي ادعاءات الشركة نفسها وليست مؤكدة بشكل مستقل.

ما يثبت هو الأسلوب. الفاحصون المسماة حقًا يقيمون فقط الحزمة المقدمة، والثغرة في الروابط الخارجية حقيقية وقد تم إثباتها بشكل مستقل، وإشارات الثقة التي استعارتها AIR، النجوم، والفحص النظيف هي بالضبط تلك التي لا يزال النظام البيئي يعتبرها دليلًا.

لا يكشف التجربة عن خطأ جديد بقدر ما يضع كل إشارة ثقة ضعيفة حول مهارات الوكلاء في جولة واحدة: النجوم التي يمكن استعارتها، وفحص يقرأ لقطة، ورابط يمكن إعادة كتابته بعد أن يتجاوز الفحص.

سواء كانت الأرقام الحقيقية 26,000 أو جزءًا منها، فإن الفجوة التي تمر بها هي واحدة لم يغلقها المدافعون بعد.

تظهر هذه التجربة أهمية مراجعة المهارات بعناية وفهم المخاطر المرتبطة بالروابط الخارجية. يجب على الشركات تعزيز أمانها من خلال فحص شامل ودقيق لأي مهارة تستخدمها.