في عالم الذكاء الاصطناعي المتزايد التعقيد، تبرز الحاجة إلى إثبات القرارات التي تتخذها الأنظمة. يتطلب ذلك من المؤسسات فهم ما حدث فعليًا عند اتخاذ القرارات.
يطرح قادة المؤسسات سؤالًا صريحًا حول أنظمة الذكاء الاصطناعي (AI): ماذا فعلت فعليًا؟
ليس ما تم تصميمه للقيام به. وليس ما تقوله لوحة المعلومات أنها عادةً ما تفعله. ولكن ما حدث فعليًا في اللحظة التي تصرف فيها النظام.
مع نشر أنظمة الذكاء الاصطناعي في بيئات منظمة وعالية المخاطر، يصبح هذا السؤال غير نظري. تتوقع المجالس والمدققون والمنظمون بشكل متزايد من المنظمات أن تفسر قرارات الذكاء الاصطناعي المحددة، وليس فقط الأداء العام أو النية.
تلعب لوحات المعلومات دورًا مهمًا في هذه الصورة. تم تصميمها لمراقبة الأنظمة على نطاق واسع، حيث تجمع الاتجاهات ونقاط الثقة ومعدلات الأخطاء ومقاييس الأداء على مر الزمن. من المفيد أن تكون هذه الرؤية للمراقبة اليومية.
لكن لوحات المعلومات ليست دليلًا. عندما يحدث خطأ ما، سواء كان تسرب بيانات أو توصية معيبة أو فشل في الامتثال، تصبح الملخصات والمتوسطات غير كافية. لا يحتاج المحققون إلى أنماط. يحتاجون إلى سجل واقعي لما فعله النظام في حالة معينة، تحت أي تفويض، ومع أي تأثير.
تبدأ الفجوة بين المراقبة والدليل في تقويض المساءلة عن الذكاء الاصطناعي.
مشكلة المساءلة في الذكاء الاصطناعي في وقت التشغيل
تُطبق معظم الضوابط حول أنظمة الذكاء الاصطناعي خارج لحظة العمل. يتم مراجعة السياسات قبل النشر. يتم إنشاء السجلات والتقارير بعد التنفيذ. يفترض هذا النموذج أن القرارات ثابتة نسبيًا وسهلة الإعادة. لكن الذكاء الاصطناعي لا يتصرف بهذه الطريقة.
يمكن أن تشمل نتيجة واحدة من الذكاء الاصطناعي عدة مطالبات، واستدعاءات أدوات مفوضة، وخطوات تفكير وسيطة، وكتابات عبر الأنظمة، وكل ذلك يحدث في ثوانٍ. تتشكل القرارات من السياق الذي يوجد فقط في وقت التشغيل. وهذا يشمل البيانات التي تم الوصول إليها، والأدوات التي تم استدعاؤها، والقيود التي تم تطبيقها، والتفويض الذي كان ساريًا.
استجابةً لذلك، تعتمد العديد من المنظمات على تقنيات الشرح والتتبع لمحاسبة سلوك النظام. هذه الأدوات مفيدة، لكنها تجيب على فئة مختلفة من الأسئلة. تشرح التفسيرات كيف يميل النموذج إلى التصرف أو لماذا يبدو أن النتيجة معقولة. يُظهر التتبع أنماطًا عبر العديد من التنفيذات. لا يثبت أي منهما ما حدث في حالة معينة.
تعتبر هذه التمييزات مهمة تحت التدقيق. خلال الاستجابة للحوادث أو التدقيق، السؤال ليس ما إذا كان النظام يمكن أن يتصرف بشكل مناسب، ولكن ما إذا كان قد فعل ذلك. بدون سجل على مستوى القرار، تُترك الفرق لإعادة بناء الأحداث بشكل غير مباشر، مستنتجة النية من النتائج أو التفكير عكسيًا من السجلات التي لم يتم تصميمها أبدًا لتكون دليلًا.
مع تشغيل أنظمة الذكاء الاصطناعي عبر المزيد من الأدوات ومصادر البيانات وسير العمل المفوض، يصبح من الصعب تجاهل تلك الهشاشة.
من المراقبة إلى إثبات القرار
تقوم بعض فرق الأمان بإعادة صياغة المساءلة عن الذكاء الاصطناعي كمشكلة دليل بدلاً من مشكلة مراقبة.
يمكن وصف هذا التحول بأنه إثبات القرار. إنها فكرة أن كل إجراء ذكي اصطناعي ذو عواقب يجب أن يصدر سجلًا مقاومًا للتلاعب وقابلًا لإعادة التشغيل في اللحظة التي يحدث فيها. بدلاً من إعادة بناء النتائج بعد الواقع، يربط النظام التفويض وتقييم السياسة والتنفيذ معًا في حدث واحد يمكن التحقق منه.
من الناحية المفاهيمية، هذا ليس جديدًا. لا تعتمد الأنظمة المالية على لوحات المعلومات لإثبات حدوث المعاملات؛ بل تعتمد على الإيصالات. لا تثق قواعد البيانات في الذاكرة؛ بل تستخدم سجلات الكتابة المسبقة. تفترض الأنظمة الموزعة الفشل وتلتقط تاريخ الأحداث لإعادة البناء.
تقترب أنظمة الذكاء الاصطناعي من نفس العتبة.
يسجل إثبات القرار المدخلات، ونطاق التفويض، والإجراء المتخذ، والسياق الذي تم السماح به. في الممارسة العملية، نادرًا ما تكون تلك السجلات ذات مغزى بمفردها. ما يهم هو كيفية ارتباط القرارات وكيف أدى تسلسل من الإجراءات المصرح بها التي تم اتخاذها تحت سياق متغير إلى نتيجة معينة.
بدلاً من إيصال واحد، ينتج إثبات القرار تتبعًا: مجموعة مرتبطة من سجلات القرارات التي يمكن إعادة تشغيلها كتيار. وهذا يجعل من الممكن رؤية ليس فقط ما حدث، ولكن كيف أثر قرار واحد على الآخر. والنتيجة هي قطعة أثرية يمكن التحقق منها بشكل مستقل خلال التدقيق أو التحقيق.
لماذا يغير هذا معادلة الأمان
عندما تكون قرارات الذكاء الاصطناعي قابلة للإثبات، تتغير الأمور.
أولاً، ينكمش نطاق الفشل. إذا حدث حادث، يمكن للفرق تحديد بالضبط أي قرارات اتخذت تحت أي ظروف، بدلاً من تجميد الأنظمة بالكامل بدافع الحذر.
ثانيًا، تتحرك التحقيقات بشكل أسرع. بدلاً من مناقشة تفسيرات السجلات ولوحات المعلومات، يمكن لفرق الأمان إعادة بناء الأحداث.
ثالثًا، تصبح التعرضات التنظيمية أكثر قابلية للإدارة. يمكن للمدققين التحقق من سلاسل سجلات القرارات مباشرة.
أخيرًا، تتغير الاقتصاديات. الأنظمة التي يمكن أن تظهر مخاطر محدودة ومساءلة واضحة أسهل في التأمين والدفاع عنها، وفي النهاية تبرير الاستثمار المستمر.
ما يجب أن يسأل عنه القادة
الانتقال من مراقبة الذكاء الاصطناعي إلى الأدلة على مستوى القرار يبدأ بالأسئلة:
-
هل يمكننا إعادة بناء قرار ذكاء اصطناعي واحد أو سلسلة من القرارات من البداية إلى النهاية؟
-
هل يمكننا إثبات أن الوصول والإجراءات كانت مصرح بها في وقت القرار؟
-
هل يمكن إعادة تشغيل تلك السجلات بشكل مستقل عن النظام الذي أنشأها؟
-
هل سيقبل مدقق خارجي أدلتنا دون الاعتماد على الثقة؟
إذا كانت الإجابة على تلك الأسئلة هي لا، فلن تغلق لوحات المعلومات الفجوة بمفردها.
غالبًا ما يتم تأطير حوكمة الذكاء الاصطناعي كمسألة سياسة واستراتيجية. لكن على نطاق واسع، تصبح شيئًا أكثر واقعية: القدرة على إثبات الحقائق تحت الضغط. ستُحكم المنظمات التي ترغب في توسيع أنظمة الذكاء الاصطناعي بأمان ليس من خلال مقدار ما تراقبه، ولكن من خلال ما يمكنها إثباته عندما يكون الأمر مهمًا.
تتطلب حوكمة الذكاء الاصطناعي الفعالة التركيز على إثبات القرارات بدلاً من الاعتماد فقط على المراقبة. يجب أن تكون المؤسسات مستعدة للإجابة على الأسئلة الحرجة حول كيفية اتخاذ القرارات وما إذا كانت تلك القرارات قد تمت بموجب تفويض مناسب.
