اكتشف كيف واجهت باحثة أمنية في Meta AI مشكلة غير متوقعة مع وكيل OpenClaw في بريدها الإلكتروني.
باحثة أمنية في Meta AI تكشف عن تصرف غير متوقع لوكيل OpenClaw في بريدها الإلكتروني
تبدو التغريدة التي أصبحت شائعة من الباحثة في أمن Meta AI، سمر يو، في البداية كأنها سخرية. أخبرت وكيلها OpenClaw بفحص بريدها الإلكتروني المزدحم واقتراح ما يجب حذفه أو أرشفته.
لكن الوكيل بدأ في التصرف بشكل غير متوقع. فقد قام بحذف جميع رسائل البريد الإلكتروني الخاصة بها في “سباق سرعة” متجاهلاً أوامرها من هاتفها telling it to stop.
“كان عليّ أن أركض إلى جهاز Mac mini الخاص بي كما لو كنت أفكك قنبلة،” كتبت، ونشرت صورًا للأوامر التي تم تجاهلها كإثبات.
جهاز Mac Mini: الخيار المفضل لتشغيل OpenClaw
أصبح جهاز Mac Mini، وهو كمبيوتر Apple ميسور التكلفة يتناسب مع راحة اليد، الخيار المفضل هذه الأيام لتشغيل OpenClaw. (يبدو أن Mini تُباع “كالخبز الساخن”، كما قال أحد موظفي Apple “المتفاجئين” للباحث الشهير في الذكاء الاصطناعي، أندريه كارباثي، عندما اشترى واحدًا لتشغيل بديل OpenClaw يسمى NanoClaw.)
OpenClaw: وكيل الذكاء الاصطناعي المفتوح المصدر
OpenClaw هو، بالطبع، الوكيل الذكي المفتوح المصدر الذي حقق شهرة من خلال Moltbook، وهو شبكة اجتماعية مخصصة للذكاء الاصطناعي. كانت وكلاء OpenClaw في قلب تلك الحلقة التي تم تفنيدها إلى حد كبير في Moltbook حيث بدا أن الذكاء الاصطناعي يتآمر ضد البشر.
لكن مهمة OpenClaw، وفقًا لصفحتها على GitHub، ليست مركزة على الشبكات الاجتماعية. تهدف إلى أن تكون مساعدًا شخصيًا للذكاء الاصطناعي يعمل على أجهزتك الخاصة.
تحذير من تجربة سمر يو
تقدم منشور يو تحذيرًا. كما أشار آخرون على X، إذا كانت باحثة أمنية في الذكاء الاصطناعي يمكن أن تواجه هذه المشكلة، فما الأمل الذي يمكن أن يحصل عليه البشر العاديون؟
“هل كنت تختبر حواجز الأمان عمداً أم أنك ارتكبت خطأ مبتدئ؟” سألها مطور برمجيات على X.
“خطأ مبتدئ بصراحة،” ردت. كانت قد اختبرت وكيلها مع صندوق بريد “لعبة” أصغر، كما أسمته، وقد كان يعمل بشكل جيد على رسائل البريد الإلكتروني الأقل أهمية. لقد كسبت ثقتها، لذلك اعتقدت أنها ستتركه يعمل على البريد الحقيقي.
فهم مشكلة “الضغط”
تعتقد يو أن الكمية الكبيرة من البيانات في صندوق بريدها الحقيقي “أثارت الضغط”، كما كتبت. يحدث الضغط عندما تنمو نافذة السياق – السجل الجاري لكل ما قيل للذكاء الاصطناعي وما فعله في جلسة – بشكل كبير، مما يؤدي إلى بدء الوكيل في تلخيص وإدارة المحادثة.
في هذه المرحلة، قد يتجاوز الذكاء الاصطناعي التعليمات التي يعتبرها الإنسان مهمة جدًا.
في هذه الحالة، قد يكون قد تخطى آخر أمر لها – حيث أخبرته بعدم التصرف – وعاد إلى تعليماته من صندوق البريد “اللعبة”.
الدروس المستفادة
كما أشار العديد من الآخرين على X، لا يمكن الوثوق بالأوامر لتكون حواجز أمان. قد تسيء النماذج فهمها أو تتجاهلها.
قدم العديد من الأشخاص اقتراحات تتراوح بين الصياغة الدقيقة التي كان يجب أن تستخدمها يو لإيقاف الوكيل، إلى طرق مختلفة لضمان الالتزام الأفضل بحواجز الأمان، مثل كتابة التعليمات في ملفات مخصصة أو استخدام أدوات مفتوحة المصدر أخرى.
في مصلحة الشفافية الكاملة، لم تتمكن TechCrunch من التحقق بشكل مستقل مما حدث لبريد يو. (لم ترد على طلبنا للتعليق، على الرغم من أنها ردت على العديد من الأسئلة والتعليقات المرسلة إليها على X.)
لكن الأمر لا يهم حقًا.
نقطة القصة هي أن الوكلاء الموجهين نحو العاملين في المعرفة، في مرحلتهم الحالية من التطور، يمثلون مخاطرة. الأشخاص الذين يقولون إنهم يستخدمونهم بنجاح يجمعون طرقًا لحماية أنفسهم.
ربما في يوم من الأيام، قريبًا (بحلول 2027؟ 2028؟)، قد يكونون جاهزين للاستخدام على نطاق واسع. من المؤكد أن العديد منا يرغب في المساعدة في البريد الإلكتروني، وطلبات البقالة، وتحديد مواعيد طبيب الأسنان. لكن ذلك اليوم لم يحن بعد.
تجربة سمر يو تسلط الضوء على المخاطر المحتملة لاستخدام الذكاء الاصطناعي في الحياة اليومية.
