Fed-PriLoRA: كيف يحقق التعلم الآلي الموحد الخاص تقليلًا بنسبة 99.95 في المئة في التواصل لنماذج اللغات الكبيرة
We compile, generate and translate using Artificial Intelligence from the below given source. Macro Micro News is responsible for its editorial publication.
أدى دمج نماذج اللغات الكبيرة في قطاعات حساسة مثل الرعاية الصحية والمالية إلى طلب ملح على آليات قوية لحماية البيانات. يتيح التعلم الموحد التدريب عبر أجهزة موزعة دون مشاركة البيانات الخام. لكن ضبط هذه النماذج الضخمة يظل مكلفًا حسابيًا ويستهلك قدرًا كبيرًا من عرض النطاق الترددي. ظهرت مبادرة مهمة في هذا المجال وهي إطار عمل Fed-PriLoRA. صُمم هذا الإطار لتوفيق بين الخصوصية المتينة وتقنيات التكيف ذات الرتبة المنخفضة.
تقلل طرق الضبط الفعالة من حيث المعلمات مثل تكيف الرتبة المنخفضة عبء التواصل بتحديث جزء صغير فقط من معاملات النموذج. لكن دمج الخصوصية التفاضلية مع هذه الطريقة غالبًا ما يؤدي إلى تدهور حاد في الأداء. يحدث ذلك بسبب تضخيم الضوضاء الضربي وتراكمها عبر الجولات. تعطل هذه العوامل التدريب وتطمس الإشارات المفيدة داخل الضوضاء المضافة. يعالج Fed-PriLoRA هذه الاختناقات الحرجة عبر نهج معماري جديد يفكك تحديثات العملاء إلى أزواج متجهات قابلة للفصل.
يعتمد الإطار التجميد المنظم لكبح التضخيم الضربي لضوضاء الخصوصية التفاضلية. كما يستخدم معلومات فيشر لتقييم أهمية المعلمات. يسمح ذلك للعملاء بالتمييز بين القابلية للتعميم والتداخل الناتج عن الضوضاء. يقوم Fed-PriLoRA بحذف المكونات قليلة المساهمة محليًا قبل رفع التحديثات. يقلل هذا الإجراء عبء التواصل بشكل كبير مع الحفاظ على فائدة النموذج. تضمن استراتيجية التقليم الواعية بالضوضاء مشاركة التدرجات الأكثر إفادة فقط. وهذا يعزز كلاً من الخصوصية والكفاءة.
أظهرت التقييمات التجريبية تفوق Fed-PriLoRA على الأسس غير الخاصة الحالية مثل StackLoRA. حقق الإطار دقة أعلى على مجموعات بيانات الاختبار بما في ذلك Dolly-15K وWizardLM رغم القيود الصارمة للخصوصية. انخفض عبء التواصل لكل جولة إلى 0.051 في المئة فقط من المطلوب للضبط الكامل. يجعل هذا النظام قابلاً للتوسع بسهولة في البيئات محدودة الموارد. سلطت دراسات الإزالة الضوء على فعالية التقليم الموجّه بمعلومات فيشر. أسفر ذلك عن زيادة نسبية في الدقة بنسبة 39 في المئة مقارنة بطرق التقليم العشوائية. يوفر Fed-PriLoRA مسارًا عمليًا نحو ضبط نماذج آمن وفعال وعالي الأداء مع انتشار الذكاء الاصطناعي المسؤول.