مدل پیشرفته VaultGemma اولین مدل گوگل با تمرکز بر حریم خصوصی است و با تکنیک های پیشرفته برای حفظ حریم خصوصی ساخته شده است.

شرکت های فناوری برای ساخت مدل های هوش مصنوعی بزرگ تر به دنبال داده های آموزشی هستند و همین امر نگرانی هایی درمورد حریم خصوصی کاربران ایجاد کرده است. اکنون گوگل مدل VaultGemma را معرفی کرده که با تکنیک های پیشرفته برای حفظ حریم خصوصی ساخته شده است.

VaultGemma یک مدل آزمایشی است که نشان می دهد می توان هوش مصنوعی قدرتمندی ساخت که کمتر احتمال دارد داده های حساس آموزشی خود را به خاطر بسپارد و ناخواسته بازگو کند. این پیشرفت می تواند نحوه نگرش گوگل و سایر شرکت ها به مقوله حریم خصوصی در محصولات آینده هوش مصنوعی را تغییر دهد.

یکی از بزرگ ترین خطرات مدل های زبانی بزرگ این است که گاهی اوقات به جای تولید محتوای جدید، بخش هایی از داده های آموزشی خود را کلمه به کلمه تکرار می کنند. اگر این داده ها شامل اطلاعات شخصی کاربران یا محتوای دارای کپی رایت باشد، می تواند به نقض حریم خصوصی یا مشکلات حقوقی جدی منجر شود.

راه حل گوگل برای این مشکل، استفاده از تکنیکی به نام Differential Privacy است. این روش با تزریق نویز یا اختلالات حساب شده در طول فرایند آموزش، از به خاطرسپردن جزییات دقیق توسط مدل جلوگیری می کند. بااین حال، این تکنیک همیشه یک مسئله بزرگ داشته است؛ افزودن نویز باعث کاهش دقت مدل و افزایش نیاز به توان محاسباتی می شود.

موفقیت اصلی تیم تحقیقاتی گوگل در این بود که برای اولین بار قوانین مقیاس پذیری را برای این مدل های خصوصی کشف کردند. آن ها فرمولی را برای ایجاد یک تعادل بهینه بین سه عامل مهم تعریف کردند: بودجه حریم خصوصی (میزان نویز)، بودجه محاسباتی (قدرت پردازش) و بودجه داده (حجم داده های آموزشی). این امر به توسعه دهندگان اجازه می دهد تا با کارایی بیشتری منابع خود را برای ساخت مدل های خصوصی تخصیص دهند.

گوگل می گوید از این تکنیک احتمالاً در مدل های غول پیکر و همه منظوره که در آن ها عملکرد حداکثری حرف اول را می زند، استفاده نخواهد شد. در عوض، این تکنیک برای مدل های کوچک تر و هدفمند که قابلیت های خاصی را در محصولات (مانند خلاصه سازی ایمیل ها یا پیشنهاد پاسخ های بهتر) ارائه می دهند، بسیار مناسب تر است.

VaultGemma یک مدل وزن باز (open-weight) است که برپایه مدل Gemma 2 ساخته شده است. این مدل با فقط 1 میلیارد پارامتر در مقایسه با غول های امروزی نسبتاً کوچک محسوب می شود. این مدل درحال حاضر برای دانلود در پلتفرم های Hugging Face و Kaggle در دسترس است.

منبع: ماهنامه پیوست