في عصر الذكاء الاصطناعي المتزايد، يواجه عالم التكنولوجيا تحديات جديدة تتعلق بدقة البيانات وأمانها. هذا المقال يستكشف العلاقة بين الذكاء الاصطناعي والثقة الصفرية.
يمكن أن يؤدي الفائض من المحتوى الذي يتم إنشاؤه بواسطة الذكاء الاصطناعي إلى مخاطر على نماذج اللغة الكبيرة (LLMs) مع بدء أدوات الذكاء الاصطناعي في التدريب على نفسها.
تنبأت شركة غارتنر في 21 يناير أنه بحلول عام 2028، ستقوم 50% من المؤسسات بتنفيذ نهج حوكمة بيانات يعتمد على الثقة الصفرية بسبب زيادة ما تسميه شركة التحليل “بيانات الذكاء الاصطناعي غير الموثوقة”. وقد أطلقت غارتنر على هذه الفكرة اسم “انهيار النموذج”، حيث يمكن أن تتدهور نماذج التعلم الآلي بناءً على الأخطاء التي يتم إدخالها عندما تتدرب على محتوى تم إنشاؤه بواسطة الذكاء الاصطناعي. وهذا، بدوره، قد يؤدي إلى ظهور مجال جديد من الممارسات الأمنية المتعلقة بالثقة الصفرية: تقييم سلوك النموذج بشكل مستمر.
كما أوضحت الشركة في بيان صحفي، يتم تدريب LLMs على بيانات تم جمعها من الإنترنت ومحتويات أخرى مثل الكتب ومستودعات التعليمات البرمجية. ومع تضمين بعض هذه المصادر (ومن المحتمل أن تزداد في المستقبل) محتوى تم إنشاؤه بواسطة الذكاء الاصطناعي، فإن هذا المحتوى سيؤثر على مخرجاته المستقبلية، حتى لو كان يحتوي على هلاوس أو مشاكل أخرى، مما قد يؤدي إلى تدهور جودة النماذج.
الفكرة الأساسية هي أنه مع تدهور جودة الإشارة بمرور الوقت من خلال بيانات التدريب غير المفيدة، يمكن أن تظل النماذج طليقة وقادرة على التفاعل مع المستخدم بينما تصبح أقل موثوقية. من وجهة نظر أمنية، يمكن أن يكون هذا خطيرًا، حيث يتم وضع نماذج الذكاء الاصطناعي لتوليد أخطاء تبدو ثقة ولكنها غير صحيحة عندما يتعلق الأمر بمراجعات التعليمات البرمجية، وتوصيات التصحيح، وترميز التطبيقات، وتقييم الأمان، ومهام أخرى. والأهم من ذلك، أن تدهور النموذج يمكن أن يؤدي إلى تآكل وعدم توافق حواجز النظام، مما يمنح المهاجمين الفرصة لاستغلال هذه الثغرات من خلال أشياء مثل حقن الطلبات.
قالت غارتنر إن 84% من المستجيبين في استطلاع CIO وتنفيذي التكنولوجيا لعام 2026 يتوقعون أن تزيد مؤسساتهم من تمويل الذكاء الاصطناعي التوليدي (GenAI) لعام 2026. ومع أن تدهور النموذج يمثل مشكلة نظرية اليوم، إلا أنه قد يصبح ذا صلة بسرعة في عالم حيث تقوم المؤسسات بتطبيق منتجات مدعومة من LLM بشكل متسرع وعدواني.
“مع تزايد انتشار المحتوى الذي يتم إنشاؤه بواسطة الذكاء الاصطناعي، من المتوقع أن تتزايد المتطلبات التنظيمية للتحقق من بيانات “خالية من الذكاء الاصطناعي” في بعض المناطق،” قالت وان فوي تشان، نائبة الرئيس التنفيذية في غارتنر. “ومع ذلك، قد تختلف هذه المتطلبات بشكل كبير عبر الجغرافيا، حيث تسعى بعض الولايات القضائية إلى فرض ضوابط أكثر صرامة على المحتوى الذي يتم إنشاؤه بواسطة الذكاء الاصطناعي، بينما قد تتبنى أخرى نهجًا أكثر مرونة.”
انهيار النموذج: ما مدى واقعية هذه المشكلة؟
تقول ميليسا روتزي، مديرة الذكاء الاصطناعي في شركة أمان التطبيقات AppOmni، لموقع Dark Reading إنه بسبب بيانات البشر غير الصحيحة، والتحيز البشري، وعوامل أخرى، “فإن فكرة وجود بيانات نقية ونظيفة وصحيحة تمامًا لتدريب الذكاء الاصطناعي ليست صحيحة، بغض النظر عما إذا كانت البيانات قد تم إنشاؤها بواسطة الذكاء الاصطناعي أو من قبل البشر.”
وليس المقصود من ذلك أنه لا توجد مشاكل تتعلق بتدهور النموذج المحتمل من خلال بيانات التدريب الخاطئة؛ بل إن روتزي تجادل بأن كل من بيانات التدريب البشرية والذكاء الاصطناعي الخاطئة يمكن أن تؤثر سلبًا على المخرجات، ويجب أخذ هذه المشكلة الأوسع بعين الاعتبار بجدية.
من ناحية أخرى، تقول ديانا كيلي، كبيرة مسؤولي الأمن المعلوماتي (CISO) في شركة أمان وحوكمة الذكاء الاصطناعي Noma Security، إن انهيار النموذج هو وضع فشل حقيقي تم ملاحظته في الأبحاث المنضبطة، على الرغم من أن المخاطر العملية لمعظم المؤسسات “غير متساوية” اليوم.
“معظم المؤسسات لا تقوم بتدريب نماذج LLM المتطورة من الصفر، ولكنها تقوم بشكل متزايد ببناء تدفقات عمل يمكن أن تنشئ مستودعات بيانات ذاتية التعزيز، مثل قواعد المعرفة الداخلية، التي تتراكم نصوصًا تم إنشاؤها بواسطة الذكاء الاصطناعي، وملخصات، وتذاكر مع مرور الوقت،” تقول لموقع Dark Reading. “وهنا تتسارع المخاطر المستقبلية: المزيد من المحتوى الاصطناعي في العالم والمزيد من المحتوى الاصطناعي داخل المؤسسات يعني أن نسبة الإشارة عالية الجودة التي تم إنشاؤها بواسطة البشر تتناقص باستمرار.”
اعتبارات لمستخدمي LLM يجب أخذها في الاعتبار للمستقبل
قالت غارتنر إنه لمكافحة مشكلة تدهور النموذج المحتملة، ستحتاج المؤسسات إلى وسيلة لتحديد ووضع علامات على البيانات التي تم إنشاؤها بواسطة الذكاء الاصطناعي. يمكن معالجة هذا من خلال ممارسات البيانات الوصفية النشطة (مثل إنشاء تنبيهات في الوقت الحقيقي عندما قد تتطلب البيانات إعادة تصديق) وتعيين قائد حوكمة يعرف كيفية العمل بشكل مسؤول مع المحتوى الذي يتم إنشاؤه بواسطة الذكاء الاصطناعي.
تقول روتزي من AppOmni إن المؤسسات يجب أن تقوم بمراجعات أمنية وتضع إرشادات لاستخدام الذكاء الاصطناعي، بما في ذلك خيارات النماذج. في الوقت نفسه، يقول رام فاردراجان، الرئيس التنفيذي لشركة أمان مدعومة بالذكاء الاصطناعي Acalvio، إن تقليل مخاطر انهيار النموذج يأتي كنتيجة مباشرة لخط أنابيب بيانات منضبط. وهذا يعني معرفة مصدر بياناتك وتصفيتها من البيانات الاصطناعية، والسمية، والبيانات القابلة للتحديد الشخصي من المدخلات التدريبية.
تجادل كيلي بأن هناك طرقًا عملية “لحفظ الإشارة”، وهي من خلال إعطاء الأولوية لتقييم سلوك النموذج بشكل مستمر وحوكمة بيانات التدريب.
“الأهم من ذلك، لا تفقد من نظرك أن الأساس هو البيانات التي تم إنشاؤها بواسطة البشر. هذه هي المعيار الذهبي لجودة البيانات. اعتبر بيانات التدريب والاسترجاع كأصل مُدار، وليس كمجرى نفايات،” تقول. “هذا يتماشى بشكل وثيق مع نقطة غارتنر بأن المؤسسات لا يمكنها الثقة بشكل ضمني في مصدر البيانات وتحتاج إلى تدابير للتحقق، بشكل أساسي نهج الثقة الصفرية لحوكمة البيانات.”
مع استمرار تطور الذكاء الاصطناعي، يجب على المؤسسات أن تتبنى استراتيجيات قوية لضمان جودة البيانات وأمانها في بيئات الثقة الصفرية.
