تراهن شركات الذكاء الاصطناعي بمليارات الدولارات على قوانين توسيع الذكاء الاصطناعي. هل ستنجح رهاناتهم؟

يحب الرئيس التنفيذي لشركة OpenAI، سام ألتمان – ربما الوجه الأكثر شهرة في طفرة الذكاء الاصطناعي التي تسارعت مع إطلاق ChatGPT في عام 2022 – قوانين التوسع.

تُعتبر هذه القوانين المعروفة قواعد بسيطة تربط بين حجم نموذج الذكاء الاصطناعي وقدراته، وتوجه الكثير من الاندفاع بين صناعة الذكاء الاصطناعي لشراء شرائح الكمبيوتر القوية، وبناء مراكز بيانات ضخمة، وإعادة فتح محطات الطاقة النووية المغلقة.

كما جادل ألتمان في منشور مدونة في وقت سابق من هذا العام، فإن التفكير هو أن “الذكاء” في نموذج الذكاء الاصطناعي “يعادل تقريبًا لوغاريتم الموارد المستخدمة في تدريبه وتشغيله” – مما يعني أنه يمكنك إنتاج أداء أفضل بشكل مستمر من خلال زيادة حجم البيانات وقوة الحوسبة بشكل أسي.

تمت ملاحظة قوانين التوسع لأول مرة في عام 2020 وتم تحسينها لاحقًا في عام 2022، حيث تأتي قوانين التوسع لنماذج اللغة الكبيرة (LLMs) من رسم خطوط على الرسوم البيانية للبيانات التجريبية. بالنسبة للمهندسين، توفر صيغة بسيطة تخبرك بمدى كبر النموذج التالي وما هو مقدار الزيادة في الأداء المتوقع.

هل ستستمر قوانين التوسع في التوسع مع زيادة حجم نماذج الذكاء الاصطناعي؟ تراهن شركات الذكاء الاصطناعي بمئات المليارات من الدولارات على أنها ستستمر – لكن التاريخ يشير إلى أنه ليس دائمًا بهذه البساطة.

قوانين التوسع ليست فقط للذكاء الاصطناعي

يمكن أن تكون قوانين التوسع رائعة. على سبيل المثال، تعتمد الديناميكا الهوائية الحديثة عليها.

باستخدام قطعة رياضية أنيقة تُعرف باسم نظرية باكنغهام π، اكتشف المهندسون كيفية مقارنة النماذج الصغيرة في أنفاق الرياح أو أحواض الاختبار مع الطائرات والسفن بالحجم الكامل من خلال التأكد من تطابق بعض الأرقام الرئيسية.

تُوجه تلك الأفكار المتعلقة بالتوسع تصميم كل شيء تقريبًا يطير أو يطفو، بالإضافة إلى المراوح الصناعية والمضخات.

فكرة توسع مشهورة أخرى دعمت عقودًا من ازدهار ثورة شرائح السيليكون. ساعد قانون مور – فكرة أن عدد المفاتيح الصغيرة المسماة الترانزستورات على شريحة ميكروية سيتضاعف كل عامين أو نحو ذلك – المصممين في إنشاء التكنولوجيا الحاسوبية الصغيرة والقوية التي لدينا اليوم.

لكن هناك مشكلة: ليست جميع “قوانين التوسع” قوانين طبيعية. بعضها رياضي بحت ويمكن أن يستمر إلى ما لا نهاية. بينما البعض الآخر هو مجرد خطوط ملائمة للبيانات تعمل بشكل رائع حتى تبتعد كثيرًا عن الظروف التي تم قياسها أو تصميمها.

عندما تنهار قوانين التوسع

تاريخيًا، هناك تذكيرات مؤلمة بقوانين التوسع التي انهارت. مثال كلاسيكي هو انهيار جسر تاكوميا ناروز في عام 1940.

تم تصميم الجسر من خلال توسيع ما نجح مع الجسور الصغيرة إلى شيء أطول وأرق. افترض المهندسون أن نفس الحجج المتعلقة بالتوسع ستظل صحيحة: إذا كانت نسبة معينة من الصلابة إلى طول الجسر قد نجحت من قبل، فيجب أن تنجح مرة أخرى.

بدلاً من ذلك، أدت الرياح المعتدلة إلى عدم استقرار غير متوقع يسمى الاهتزاز الهوائي. تمزق سطح الجسر، منهارًا بعد أربعة أشهر فقط من افتتاحه.

وبالمثل، حتى “قوانين” تصنيع الشرائح الدقيقة كان لها تاريخ انتهاء صلاحية. لعقود، كانت قوانين مور (تضاعف عدد الترانزستورات كل بضع سنوات) وقانون دينارد (عدد أكبر من الترانزستورات الأصغر تعمل بشكل أسرع بينما تستخدم نفس كمية الطاقة) أدلة موثوقة بشكل مذهل لتصميم الشرائح وخرائط الطريق الصناعية.

ومع ذلك، عندما أصبحت الترانزستورات صغيرة بما يكفي ليتم قياسها بالنانو متر، بدأت تلك القوانين الجميلة للتوسع تتعارض مع الحدود الفيزيائية الصعبة.

عندما تقلصت بوابات الترانزستور إلى سمك عدد قليل من الذرات، بدأت في تسريب التيار والتصرف بشكل غير متوقع. لم يعد بالإمكان تقليل الفولتية التشغيلية دون أن تضيع في ضوضاء الخلفية.

في النهاية، لم يعد التقلص هو الطريق إلى الأمام. لا تزال الشرائح تزداد قوة، ولكن الآن من خلال تصاميم جديدة بدلاً من مجرد التوسع.

قوانين الطبيعة أم قواعد إرشادية؟

إن منحنيات التوسع لنماذج اللغة التي يحتفل بها ألتمان حقيقية، وحتى الآن كانت مفيدة بشكل استثنائي.

أخبرت الباحثين أن النماذج ستستمر في التحسن إذا تم تزويدها بما يكفي من البيانات وقوة الحوسبة. كما أظهرت أن الأنظمة السابقة لم تكن محدودة بشكل أساسي – بل لم يكن لديها ما يكفي من الموارد.

لكن هذه منحنيات تم ملاءمتها للبيانات. إنها أقل شبهاً بالقوانين الرياضية المشتقة المستخدمة في الديناميكا الهوائية وأكثر شبهاً بالقواعد الإرشادية المفيدة المستخدمة في تصميم الشرائح – وهذا يعني أنها من المحتمل ألا تعمل إلى الأبد.

لا تعكس قواعد التوسع لنموذج اللغة بالضرورة المشاكل الواقعية مثل حدود توفر البيانات عالية الجودة للتدريب أو صعوبة جعل الذكاء الاصطناعي يتعامل مع المهام الجديدة – ناهيك عن قيود السلامة أو الصعوبات الاقتصادية لبناء مراكز البيانات وشبكات الطاقة. لا توجد قاعدة طبيعية أو نظرية تضمن أن “الذكاء يتوسع” إلى الأبد.

الاستثمار في المنحنيات

حتى الآن، تبدو منحنيات التوسع للذكاء الاصطناعي سلسة للغاية – لكن المنحنيات المالية قصة مختلفة.

حذرت دويتشه بنك مؤخرًا من وجود “فجوة تمويل” في الذكاء الاصطناعي بناءً على تقديرات Bain Capital لوجود فجوة قدرها 800 مليار دولار بين الإيرادات المتوقعة للذكاء الاصطناعي والاستثمار في الشرائح ومراكز البيانات والطاقة اللازمة للحفاظ على النمو الحالي.

من جانبها، قدرت JP Morgan أن القطاع الأوسع للذكاء الاصطناعي قد يحتاج إلى حوالي 650 مليار دولار من الإيرادات السنوية فقط لكسب عائد متواضع بنسبة 10 في المئة على التوسع المخطط له في بنية الذكاء الاصطناعي.

ما زلنا نكتشف أي نوع من القوانين يحكم نماذج LLM المتقدمة. قد تستمر الحقائق في التوافق مع قواعد التوسع الحالية؛ أو قد تؤدي اختناقات جديدة – البيانات، الطاقة، استعداد المستخدمين للدفع – إلى انحناء المنحنى.

رهان ألتمان هو أن قوانين توسيع LLM ستستمر. إذا كان الأمر كذلك، فقد يكون من المجدي بناء كميات هائلة من قوة الحوسبة لأن المكاسب متوقعة. من ناحية أخرى، فإن تزايد قلق البنوك هو تذكير بأن بعض قصص التوسع يمكن أن تتحول إلى تاكوميا ناروز: منحنيات جميلة في سياق واحد، تخفي مفاجأة سيئة في السياق التالي.

تم إعادة نشر هذه المقالة من The Conversation بموجب ترخيص المشاع الإبداعي. اقرأ المقال الأصلي.