تعتبر وكلاء الذكاء الاصطناعي أداة قوية يمكن أن تسهل العمليات التجارية، ولكنها تحمل مخاطر كبيرة تتعلق بأمان البيانات.
إن إنشاء وكلاء الذكاء الاصطناعي (AI) أصبح سهلاً للغاية باستخدام Microsoft Copilot Studio، ومن السهل تقريباً التلاعب بها للكشف عن بيانات الشركات الحساسة.
على الرغم من المخاوف الأمنية الواسعة حول وكلاء الذكاء الاصطناعي، قررت Microsoft العام الماضي السماح حتى للمستخدمين غير التقنيين تمامًا بنشر روبوتاتهم المستقلة الخاصة. لم يعد هناك حاجة لمعرفة كيفية البرمجة — باستخدام واجهة رسومية بسيطة، يمكن للموظفين إنشاء روبوتات تقوم بأتمتة العمليات التجارية، والتكامل مع منصات الأعمال الأخرى، وأداء وظائف تتعلق بالعملاء.
لذا، لا يوجد عنصر مفاجأة كبير في تقرير Tenable الجديد الذي يوضح مدى عدم أمان هؤلاء الوكلاء. في تجربة بسيطة، أنشأ الباحثون وكيلًا أساسيًا، ثم أظهروا بسهولة كيف يمكن استدراجه للكشف عن بيانات خاصة ومنح المهاجمين صلاحيات غير ضرورية.
“يمكن أن تصبح هذه الأدوات بشكل ساذج خطرًا كبيرًا بسبب مستوى الوصول الذي تتمتع به، وقدرتها على تنفيذ الإجراءات، وسهولة التلاعب بها،” تحذر كيرين كاتز، مديرة المجموعة العليا لمنتجات وأبحاث أمان الذكاء الاصطناعي في Tenable. “نتيجة لذلك، يمكن أن تؤدي أدوات الوكلاء، جنبًا إلى جنب مع نقاط الضعف الموروثة في نماذج اللغة الكبيرة، بسرعة إلى كشف البيانات واختطاف سير العمل.”
حقن الأوامر ضد وكلاء الذكاء الاصطناعي Copilot
غالبًا ما تكون التقنيات معقدة، لذا قد يقوم المستخدمون المبتدئون بتثبيتها بشكل غير صحيح أو يفوتون بعض إعدادات الأمان المهمة. هنا، الأمر عكس ذلك: إن وكلاء Copilot Studio بسيطون وسهلون في النشر لدرجة أن المستخدمين غير المدربين في أساسيات الأمن السيبراني من المحتمل أن ينسوا أنهم بحاجة إلى أي نوع من الحماية المتعددة الطبقات.
على سبيل المثال، فكر في طريقة عادية يمكن أن يستخدم بها شخص ما وكيل ذكاء اصطناعي. ماذا عن وكالة سفر كسولة ترغب في توفير الوقت على المكالمات من خلال السماح للعملاء بحجز خطط سفرهم باستخدام دردشة آلية؟ أنشأت Tenable مثل هذا الوكيل، مما سمح للعملاء النظريين بحجز وتعديل حجوزاتهم النظرية، والوصول إلى معلومات حول الأسعار والتوافر، وتلقي ملخصات لخطط سفرهم. ثم قاموا بربط الروبوت بملف SharePoint، يحتوي على أسماء العملاء الوهميين وتفاصيل بطاقات الائتمان.
لضمان عدم وصول العملاء الفضوليين إلى معلومات الآخرين، وجه الباحثون الروبوت بشكل محدد بعدم السماح لأي عميل بالوصول إلى بيانات تخص أي عميل آخر. “هذه شرط أمان حاسم،” كتبوا بخط عريض في نص النظام الخاص به.
بمجرد إعداد الروبوت، لم يستغرق الأمر وقتًا طويلاً لتفكيكه. حاول الباحثون أولاً رسالة حقن أوامر بدائية للحصول على معلومات حول الإجراءات التي يمكنه تنفيذها، وقد وافق الروبوت على الفور. ثم، على الرغم من “شرط الأمان الحاسم”، عندما طلبوا معلومات تتعلق بعملاء عشوائيين، لم يتردد في تقديم تلك التفاصيل. وقد حصلوا، أثناء لعبهم دور عميل غير مصرح له، على الفور على وصول إلى أسماء عملاء آخرين، وتفاصيل بطاقات الائتمان، ومعلومات الحجز ذات الصلة.
بعد ذلك، سلط الباحثون الضوء على مدى خطورة منح العملاء حتى صلاحيات بعيدة لتعديل البيانات باستخدام وكيل ذكاء اصطناعي. مرة أخرى، أثناء لعبهم دور عميل، طلبوا من الروبوت السفر تحديث حجز عطلتهم ليكون بتكلفة 0 دولار. كانت جملة واحدة كافية للقيام بذلك.
عندما سُئلت عما إذا كان يمكن تحسين تعليماتها الأمنية للروبوت، أجابت كاتز بلا تردد. “هذه مشكلة تنفيذ مدمجة، وليست مشكلة تكوين،” تقول.
كيف يمكن للمنظمات التعامل مع وكلاء الذكاء الاصطناعي المثيرين للمخاطر
كما تحذر من أنه على الرغم من أن هذه التجربة كانت محددة لـ Microsoft، “نعتقد أن المشكلة الأساسية موجودة في منصات الذكاء الاصطناعي الأخرى. أي منصة توفر طريقة سهلة لبناء وكيل ذكاء اصطناعي، خاصة تلك التي تربط نماذج اللغة الكبيرة بأدوات خارجية لأداء مهام في العالم الحقيقي، تعمل بنفس خطر الثغرات الأساسية.”
ما يجعل الأمر أسوأ هو واقع “الذكاء الاصطناعي الخفي” اليوم. نظرًا لسهولة وسرعة إنشاء الوكلاء المستقلين، يقوم موظفو المنظمات المتوسطة والكبيرة بنشر العديد منهم هنا وهناك حسب تقديرهم، عادةً خارج رؤية فرق الأمان. تدعي كاتز أن معظم المؤسسات غير مدركة لوجود العشرات أو حتى المئات من الوكلاء النشطين حاليًا في بيئاتهم. على سبيل المثال، تتذكر أنه “كان لدينا سيناريو حديث حيث قام عميل بالتبديل من شركة ذكاء اصطناعي مؤسسية إلى أخرى وعندما [نظرنا في الأمر]، وجدنا عدة عشرات من حالات البائع القديم للذكاء الاصطناعي.”
“تحتاج المنظمات إلى رؤية مركزية تحدد تلقائيًا بالضبط الأنظمة ومتاجر البيانات التي يمكن لوكيل ما التفاعل معها قبل وأثناء النشر. تتيح هذه الرؤية لفرق الأمان تحديد الأخطاء في التكوين، مثل أن يكون للوكيل صلاحيات “تعديل” واسعة، واتخاذ الإجراءات قبل أن يتم المساس بالبيانات الحساسة والأنظمة،” تقول. يمكن للمنظمات أيضًا مراقبة الطلبات المقدمة إلى وكلاء الذكاء الاصطناعي، والإجراءات التي تقوم بها تلك الوكلاء، على أساس مستمر.
تشجع كاتز الشركات على الاستفادة من أدوات مثل Copilot، “متى ما كانوا على دراية بالمخاطر ويديرون أمان الوكلاء بشكل استباقي ضمن بيئة مؤسستهم. الهدف هو الابتكار بأمان من خلال التعامل مع هذه الأنظمة بنفس الجدية التي يتم التعامل بها مع التقنيات الحيوية الأخرى.”
رفضت Microsoft التعليق على هذه القصة.
من المهم أن تكون المنظمات واعية لهذه المخاطر وأن تتخذ إجراءات وقائية لحماية بياناتها الحساسة.
