نموذج VaultGemma من جوجل: الذكاء الاصطناعي بدون حفظ البيانات
يمكن أن يوفر تدريب نماذج الذكاء الاصطناعي على بياناتك رؤى جديدة قوية، ولكنه قد يؤدي أيضًا إلى تسرب معلومات حساسة. الآن، أصدرت جوجل نموذجًا جديدًا مصممًا من الألف إلى الياء لمنع هذه الأنواع من انتهاكات الخصوصية.
التحديات المتعلقة بالبيانات الحساسة
تعتبر النماذج اللغوية الكبيرة وسيلة واعدة لاستخراج معلومات قيمة من كميات ضخمة من البيانات غير المنظمة التي تمتلكها معظم الشركات. ولكن، تحتوي الكثير من هذه البيانات على تفاصيل حساسة للغاية حول العملاء، الملكية الفكرية، والمالية الخاصة بالشركة.
تُعتبر هذه المشكلة خطيرة لأن النماذج اللغوية تميل إلى حفظ بعض البيانات التي تم تدريبها عليها، مما يجعلها أحيانًا تعيد إنتاجها بشكل حرفي. هذا قد يجعل من الصعب ضمان عدم كشف هذه النماذج عن بيانات خاصة للأشخاص الخطأ في السياقات الخاطئة.
الخصوصية التفاضلية كحل
أحد الحلول المحتملة هو نهج يسمى الخصوصية التفاضلية، والذي يسمح لك باستخراج رؤى من البيانات دون الكشف عن تفاصيل المعلومات الأساسية. ومع ذلك، فإن هذا يجعل تدريب نماذج الذكاء الاصطناعي أقل فعالية بشكل كبير، مما يتطلب المزيد من البيانات وموارد الحوسبة لتحقيق مستوى معين من الدقة.
نموذج VaultGemma
ومع ذلك، قام الباحثون في جوجل بتحديد التوازنات بين ضمانات الخصوصية، ميزانيات الحوسبة، ومتطلبات البيانات، ليخرجوا بوصفة لبناء نماذج ذكاء اصطناعي تحافظ على الخصوصية بكفاءة. وقد استخدموا هذه الخطة لإنشاء نموذج يحتوي على مليار معلمة يسمى VaultGemma، والذي يظهر أداءً مماثلاً للنماذج القديمة ذات الأحجام المماثلة، مما يدل على إمكانية حماية الخصوصية دون التضحية بالكامل بالقدرة.
التجارب والنتائج
أجرى فريق جوجل سلسلة من التجارب مع عائلة نماذج Gemma مفتوحة المصدر، متغيرين هذه المعلمات الرئيسية لاكتشاف كيفية تفاعلها. من خلال ذلك، وضعوا سلسلة من قوانين التوسع، المفصلة في منشور مسبق على arXiv، والتي سمحت لهم بالتنبؤ بكيفية تأثير تعديل الحوسبة، البيانات، وميزانيات الخصوصية على الأداء النهائي للنموذج.
وجدوا أن زيادة الحوسبة أثناء التدريب لا تعزز دقة النموذج ما لم يتم تغذيته بمزيد من البيانات أو تخفيف ضمانات الخصوصية. كما وجدوا أن الحجم الأمثل للنموذج هو تقريبًا أقل بمقدار ترتيب من النماذج بدون الخصوصية التفاضلية، مما يشير إلى أنه قد يكون من الصعب توسيع هذا النهج ليشمل أكبر النماذج اليوم.
استنتاجات
بينما يظل VaultGemma نموذجًا تجريبيًا بدون قيمة عملية حقيقية، فإنه يُظهر أن النماذج الذكية التي تحافظ على الخصوصية يمكن أن تكون في متناول اليد. نأمل أن يتمكن الآخرون من بناء على هذه القوانين لدفع المجال في هذا الاتجاه.
