تجربة OpenAI تكشف كيف يمكن للنماذج المتناثرة أن تمنح مطوري الذكاء الاصطناعي أدوات جديدة لفهم وتصحيح الشبكات العصبية.

تجربة OpenAI تكشف أن النماذج المتناثرة قد تمنح مطوري الذكاء الاصطناعي أدوات لتصحيح الشبكات العصبية

يختبر باحثو OpenAI نهجًا جديدًا في تصميم الشبكات العصبية، بهدف جعل نماذج الذكاء الاصطناعي أسهل في الفهم والتصحيح والإدارة. يمكن أن توفر النماذج المتناثرة للشركات فهمًا أفضل لكيفية اتخاذ هذه النماذج للقرارات.

فهم كيفية استجابة النماذج، وهو نقطة بيع كبيرة للنماذج القابلة للتفكير بالنسبة للشركات، يمكن أن يوفر مستوى من الثقة للمنظمات عندما تلجأ إلى نماذج الذكاء الاصطناعي للحصول على رؤى.

دعت الطريقة العلماء والباحثين في OpenAI إلى النظر في النماذج وتقييمها ليس من خلال تحليل الأداء بعد التدريب، ولكن من خلال إضافة قابلية الفهم أو الفهم من خلال الدوائر المتناثرة.

تشير OpenAI إلى أن الكثير من غموض نماذج الذكاء الاصطناعي ينبع من كيفية تصميم معظم النماذج، لذا من أجل الحصول على فهم أفضل لسلوك النموذج، يجب عليهم إنشاء حلول بديلة.

“تشغل الشبكات العصبية أنظمة الذكاء الاصطناعي الأكثر قدرة اليوم، لكنها تظل صعبة الفهم”، كتبت OpenAI في منشور مدونة. “نحن لا نكتب هذه النماذج بتعليمات خطوة بخطوة واضحة. بدلاً من ذلك، تتعلم عن طريق تعديل مليارات الاتصالات الداخلية أو الأوزان حتى تتقن مهمة ما. نحن نصمم قواعد التدريب، لكننا لا نحدد السلوكيات المحددة التي تظهر، والنتيجة هي شبكة كثيفة من الاتصالات التي لا يستطيع أي إنسان فك شفرتها بسهولة.”

لزيادة قابلية الفهم، درست OpenAI بنية تدرب الشبكات العصبية غير المتشابكة، مما يجعلها أسهل في الفهم. قام الفريق بتدريب نماذج اللغة باستخدام بنية مماثلة للنماذج الحالية، مثل GPT-2، باستخدام نفس مخطط التدريب.

النتيجة: تحسين قابلية الفهم.

الطريق نحو قابلية الفهم

فهم كيفية عمل النماذج، مما يمنحنا نظرة ثاقبة حول كيفية اتخاذها لقراراتها، أمر مهم لأن لهذه القرارات تأثيرات حقيقية، وفقًا لـ OpenAI.

تعرف الشركة قابلية الفهم بأنها “طرق تساعدنا على فهم لماذا أنتج نموذج ما مخرجات معينة.” هناك عدة طرق لتحقيق قابلية الفهم: قابلية الفهم من خلال سلسلة الأفكار، والتي تستفيد منها النماذج القابلة للتفكير غالبًا، وقابلية الفهم الميكانيكية، التي تتضمن عكس هندسة الهيكل الرياضي للنموذج.

ركزت OpenAI على تحسين قابلية الفهم الميكانيكية، والتي قالت إنها “كانت حتى الآن أقل فائدة على الفور، ولكن من حيث المبدأ، يمكن أن تقدم تفسيرًا أكثر اكتمالاً لسلوك النموذج.”

“من خلال السعي لشرح سلوك النموذج على أدق مستوى، يمكن أن تجعل قابلية الفهم الميكانيكية افتراضات أقل وتمنحنا مزيدًا من الثقة. لكن الطريق من التفاصيل منخفضة المستوى إلى تفسيرات السلوكيات المعقدة أطول بكثير وأكثر صعوبة”، وفقًا لـ OpenAI.

تسمح قابلية الفهم الأفضل بزيادة الإشراف وتوفر علامات تحذير مبكرة إذا لم يعد سلوك النموذج متماشيًا مع السياسة.

أشارت OpenAI إلى أن تحسين قابلية الفهم الميكانيكية “هو رهان طموح للغاية”، لكن الأبحاث حول الشبكات المتناثرة قد حسنت ذلك.

كيفية فك تشابك نموذج

لفك تشابك شبكة الاتصالات التي ينشئها النموذج، قامت OpenAI أولاً بقطع معظم هذه الاتصالات. نظرًا لأن النماذج التحويلية مثل GPT-2 تحتوي على آلاف الاتصالات، كان على الفريق “إلغاء تنشيط” هذه الدوائر. سيتحدث كل منها فقط إلى عدد محدد، مما يجعل الاتصالات أكثر تنظيمًا.

بعد ذلك، قام الفريق بتشغيل “تتبع الدائرة” على المهام لإنشاء مجموعات من الدوائر القابلة للفهم. كانت المهمة الأخيرة تتعلق بتقليم النموذج “للحصول على أصغر دائرة تحقق خسارة مستهدفة على التوزيع المستهدف”، وفقًا لـ OpenAI. استهدفت خسارة قدرها 0.15 لعزل العقد والأوزان الدقيقة المسؤولة عن السلوكيات.

“نظهر أن تقليم نماذجنا المتناثرة في الوزن ينتج دوائر أصغر بحوالي 16 مرة على مهامنا مقارنةً بتقليم النماذج الكثيفة ذات خسارة ما قبل التدريب القابلة للمقارنة. نحن أيضًا قادرون على بناء دوائر دقيقة بشكل تعسفي بتكلفة المزيد من الحواف. هذا يظهر أن الدوائر للسلوكيات البسيطة أكثر تفككًا وقابلية للتحديد في النماذج المتناثرة من النماذج الكثيفة”، وفقًا للتقرير.

النماذج الصغيرة تصبح أسهل في التدريب

على الرغم من أن OpenAI تمكنت من إنشاء نماذج متناثرة أسهل في الفهم، إلا أنها لا تزال أصغر بكثير من معظم النماذج الأساسية المستخدمة من قبل الشركات. تستخدم الشركات بشكل متزايد نماذج صغيرة، لكن النماذج الرائدة، مثل نموذج GPT-5.1 الرائد، ستستفيد أيضًا من تحسين قابلية الفهم في المستقبل.

يهدف مطورون آخرون للنماذج أيضًا إلى فهم كيفية تفكير نماذج الذكاء الاصطناعي الخاصة بهم. كشفت شركة Anthropic، التي كانت تبحث في قابلية الفهم لبعض الوقت، مؤخرًا أنها قد “قرصنت” عقل Claude – ولاحظ Claude ذلك. كما تعمل Meta على اكتشاف كيفية اتخاذ النماذج القابلة للتفكير لقراراتها.

مع تحول المزيد من الشركات إلى نماذج الذكاء الاصطناعي للمساعدة في اتخاذ قرارات حاسمة لأعمالها، وفي النهاية للعملاء، فإن البحث في كيفية تفكير النماذج سيمنح الوضوح الذي تحتاجه العديد من المؤسسات لتثق بالنماذج أكثر.

المصدر

مع استمرار الأبحاث، يمكن أن تلعب النماذج المتناثرة دورًا محوريًا في تعزيز الثقة في الذكاء الاصطناعي وتسهيل اتخاذ قرارات أكثر دقة.