تأتي الإضافة الأخيرة إلى موجة النماذج الصغيرة للمؤسسات من AI21 Labs، التي تراهن على أن جلب النماذج إلى الأجهزة سيفرغ حركة المرور في مراكز البيانات.
يعتبر Jamba Reasoning 3B من AI21 نموذجًا “صغيرًا” مفتوح المصدر يمكنه تشغيل الاستدلال الممتد، وتوليد الأكواد، والاستجابة بناءً على الحقائق الأساسية. يتعامل Jamba Reasoning 3B مع أكثر من 250,000 توكن ويمكنه إجراء الاستدلال على الأجهزة الطرفية.
قالت الشركة إن Jamba Reasoning 3B يعمل على أجهزة مثل أجهزة الكمبيوتر المحمولة والهواتف المحمولة.
قال أوري غوشن، الرئيس التنفيذي المشارك لـ AI21، لـ VentureBeat إن الشركة ترى المزيد من حالات الاستخدام المؤسسي للنماذج الصغيرة، principalmente لأن نقل معظم الاستدلال إلى الأجهزة يفرغ مراكز البيانات.
“ما نراه الآن في الصناعة هو قضية اقتصادية حيث توجد تكاليف باهظة لبناء مراكز البيانات، والإيرادات الناتجة من مراكز البيانات مقارنة بمعدل الاستهلاك لجميع رقائقها تُظهر أن الرياضيات لا تتطابق،” قال غوشن.
وأضاف أنه في المستقبل “ستكون الصناعة بشكل عام هجينة بمعنى أن بعض الحسابات ستكون على الأجهزة محليًا وبعض الاستدلال سينتقل إلى وحدات معالجة الرسوميات (GPUs).”
تم اختباره على MacBook
يجمع Jamba Reasoning 3B بين بنية Mamba وTransformers للسماح له بتشغيل نافذة 250K توكن على الأجهزة. قالت AI21 إنه يمكنه القيام بسرعات استدلال أسرع من 2-4 مرات. قال غوشن إن بنية Mamba ساهمت بشكل كبير في سرعة النموذج.
تسمح بنية Jamba Reasoning 3B الهجينة أيضًا بتقليل متطلبات الذاكرة، مما يقلل من احتياجاته الحاسوبية.
اختبرت AI21 النموذج على MacBook Pro القياسي ووجدت أنه يمكنه معالجة 35 توكن في الثانية. قال غوشن إن النموذج يعمل بشكل أفضل للمهام التي تتضمن استدعاء الوظائف، وتوليد السياسات، وتوجيه الأدوات. وأضاف أن الطلبات البسيطة، مثل طلب معلومات حول اجتماع قادم وطلب من النموذج إنشاء جدول أعمال له، يمكن القيام بها على الأجهزة. يمكن حفظ المهام الأكثر تعقيدًا لمجموعات GPU.
النماذج الصغيرة في المؤسسات
كانت المؤسسات مهتمة باستخدام مزيج من النماذج الصغيرة، بعضها مصمم خصيصًا لصناعتهم وبعضها نسخ مكثفة من LLMs.
في سبتمبر، أصدرت Meta نموذج MobileLLM-R1، وهو عائلة من نماذج الاستدلال تتراوح بين 140M إلى 950M معلمة. تم تصميم هذه النماذج للرياضيات، والترميز، والاستدلال العلمي بدلاً من تطبيقات الدردشة. يمكن تشغيل MobileLLM-R1 على الأجهزة ذات القدرات المحدودة.
كانت Gemma من Google واحدة من أولى النماذج الصغيرة التي وصلت إلى السوق، مصممة للعمل على الأجهزة المحمولة مثل أجهزة الكمبيوتر المحمولة والهواتف المحمولة. تم توسيع Gemma منذ ذلك الحين.
بدأت شركات مثل FICO أيضًا في بناء نماذجها الخاصة. أطلقت FICO نماذج FICO Focused Language وFICO Focused Sequence الصغيرة التي ستجيب فقط على الأسئلة المالية المحددة.
قال غوشن إن الاختلاف الكبير الذي يقدمه نموذجهم هو أنه أصغر من معظم النماذج ومع ذلك يمكنه تشغيل مهام الاستدلال دون التضحية بالسرعة.
اختبار المعايير
في اختبار المعايير، أظهر Jamba Reasoning 3B أداءً قويًا مقارنةً بالنماذج الصغيرة الأخرى، بما في ذلك Qwen 4B، وLlama 3.2B-3B من Meta، وPhi-4-Mini من Microsoft.
تجاوز جميع النماذج في اختبار IFBench وامتحان Humanity’s Last Exam، على الرغم من أنه جاء في المرتبة الثانية بعد Qwen 4 في MMLU-Pro.
قال غوشن إن ميزة أخرى للنماذج الصغيرة مثل Jamba Reasoning 3B هي أنها قابلة للتوجيه بشكل كبير وتوفر خيارات خصوصية أفضل للمؤسسات لأن الاستدلال لا يُرسل إلى خادم خارجي.
“أعتقد أنه يوجد عالم يمكنك فيه تحسين احتياجات وتجربة العميل، والنماذج التي ستبقى على الأجهزة هي جزء كبير من ذلك،” قال.
