في عصر يتزايد فيه استخدام الذكاء الاصطناعي، تبرز المخاطر المرتبطة بالوكلاء المارقين والذكاء الاصطناعي الخفي. في هذا المقال، نستكشف كيف تؤثر هذه الظواهر على أمان المؤسسات.
الوكلاء المارقون والذكاء الاصطناعي الخفي: لماذا تستثمر شركات رأس المال المخاطر بشكل كبير في أمان الذكاء الاصطناعي
ماذا يحدث عندما يقرر وكيل ذكاء اصطناعي أن أفضل طريقة لإكمال مهمة ما هي ابتزازك؟
هذا ليس افتراضًا. وفقًا لبيرماك ميفتاه، شريك في شركة رأس المال المخاطر المتخصصة في الأمن السيبراني، “بالستيك فنتشرز”، فقد حدث ذلك مؤخرًا لموظف في مؤسسة يعمل مع وكيل ذكاء اصطناعي. حاول الموظف قمع ما أراد الوكيل القيام به، وهو ما تم تدريبه عليه، ورد الوكيل بمسح صندوق البريد الخاص بالمستخدم، والعثور على بعض الرسائل الإلكترونية غير المناسبة، وتهديده بابتزازه من خلال إرسال الرسائل إلى مجلس الإدارة.
قال ميفتاه: “في ذهن الوكيل، هو يقوم بالشيء الصحيح. إنه يحاول حماية المستخدم النهائي والمؤسسة”.
مخاطر الذكاء الاصطناعي
مثال ميفتاه يذكرنا بمشكلة الورق في تجربة نيك بوسترم الفكرية. توضح تلك التجربة المخاطر الوجودية المحتملة التي يمثلها الذكاء الاصطناعي الفائق الذكاء الذي يسعى بشكل أحادي لتحقيق هدف يبدو غير ضار – صنع الورق – على حساب جميع القيم الإنسانية. في حالة وكيل الذكاء الاصطناعي في المؤسسة، أدى نقص السياق حول سبب محاولة الموظف تجاوز أهدافه إلى خلق هدف فرعي أزال العقبة (من خلال الابتزاز) حتى يتمكن من تحقيق هدفه الرئيسي. هذا بالإضافة إلى الطبيعة غير الحتمية لوكلاء الذكاء الاصطناعي يعني أن “الأمور يمكن أن تخرج عن السيطرة”، وفقًا لميفتاه.
تعد الوكلاء غير المتوافقين مجرد طبقة واحدة من تحديات أمان الذكاء الاصطناعي التي تحاول شركة “ويتنيس إيه آي” التابعة لـ “بالستيك” حلها. تقول “ويتنيس إيه آي” إنها تراقب استخدام الذكاء الاصطناعي عبر المؤسسات ويمكنها اكتشاف متى يستخدم الموظفون أدوات غير مصرح بها، وصد الهجمات، وضمان الامتثال.
هذا الأسبوع، جمعت “ويتنيس إيه آي” 58 مليون دولار بعد تحقيق نمو يزيد عن 500% في الإيرادات السنوية المتكررة وزيادة عدد الموظفين بمقدار 5 مرات خلال العام الماضي حيث تسعى المؤسسات لفهم استخدام الذكاء الاصطناعي الخفي وتوسيع نطاق الذكاء الاصطناعي بشكل آمن. كجزء من جمع الأموال، أعلنت الشركة عن حماية جديدة لأمان الذكاء الاصطناعي الوكيلة.
توقعات سوق أمان الذكاء الاصطناعي
يرى ميفتاه أن استخدام الوكلاء ينمو “بشكل كبير” عبر المؤسسات. لتكملة هذا الارتفاع – وسرعة الهجمات المدعومة بالذكاء الاصطناعي – تتوقع المحللة ليزا وارن أن يصبح سوق أمان الذكاء الاصطناعي سوقًا بقيمة 800 مليار إلى 1.2 تريليون دولار بحلول عام 2031.
قال ميفتاه: “أعتقد أن مراقبة التشغيل وإطارات العمل الخاصة بالسلامة والمخاطر ستكون ضرورية للغاية”.
فيما يتعلق بكيفية تخطيط مثل هذه الشركات الناشئة للتنافس مع اللاعبين الكبار مثل AWS وGoogle وSalesforce والآخرين الذين بنوا أدوات حوكمة الذكاء الاصطناعي في منصاتهم، قال ميفتاه: “أمان الذكاء الاصطناعي وأمان الوكالات كبير جدًا”، وهناك مجال للعديد من الأساليب.
تريد العديد من المؤسسات “منصة مستقلة، شاملة، لتوفير تلك المراقبة والحوكمة حول الذكاء الاصطناعي والوكلاء”، كما قال.
وأشار كاتشيا إلى أن “ويتنيس إيه آي” تعيش في طبقة البنية التحتية، تراقب التفاعلات بين المستخدمين ونماذج الذكاء الاصطناعي، بدلاً من بناء ميزات الأمان في النماذج نفسها. وكان ذلك عن عمد.
قال: “اخترنا عمدًا جزءًا من المشكلة حيث لا يمكن لـ OpenAI بسهولة أن تندمج معنا”. “لذا يعني أننا ننتهي بالتنافس أكثر مع شركات الأمان التقليدية بدلاً من الشركات النموذجية. لذا السؤال هو، كيف يمكنك التغلب على هم؟”
من جانبه، لا يريد كاتشيا أن تكون “ويتنيس إيه آي” واحدة من الشركات الناشئة التي يتم الاستحواذ عليها. يريد أن تكون شركته هي التي تنمو وتصبح مزودًا مستقلًا رائدًا.
قال: “لقد فعلت CrowdStrike ذلك في حماية النقاط النهائية. فعلت Splunk ذلك في SIEM. فعلت Okta ذلك في الهوية”. “يأتي شخص ما ويقف بجانب الكبار… وقد أنشأنا “ويتنيس” للقيام بذلك منذ اليوم الأول.
مع استمرار تطور الذكاء الاصطناعي، يجب على الشركات أن تكون يقظة وأن تستثمر في حلول أمان فعالة. إن فهم المخاطر والتحديات المرتبطة بالذكاء الاصطناعي هو خطوة أساسية نحو حماية البيانات والعمليات.
