Fed-PriLoRA: निजी फेडरेटेड लर्निंग के माध्यम से LLMs के लिए संचार में 99.95% की कमी
We compile, generate and translate using Artificial Intelligence from the below given source. Macro Micro News is responsible for its editorial publication.
स्वास्थ्य और वित्त जैसे संवेदनशील क्षेत्रों में बड़े भाषा मॉडलों (LLMs) का उपयोग बढ़ रहा है। इससे डेटा गोपनीयता को सुनिश्चित करने की तीव्र जरूरत पैदा हुई है। फेडरेटेड लर्निंग डिवाइस पर ही मॉडल ट्रेन करने की अनुमति देती है। इसमें कच्चा डेटा शेयर नहीं होता। फिर भी, विशाल मॉडल्स को फाइन-ट्यून करना महंगा और संचार-गहन रहता है। इस क्षेत्र में Fed-PriLoRA एक नई प्रणाली है। यह निजी और मजबूत फेडरेटेड लर्निंग को कम रैंक एडाप्टेशन तकनीकों के साथ जोड़ती है।
लो-रैंक एडाप्टेशन (LoRA) जैसी पद्धतियां सिर्फ कुछ पैरामीटर अपडेट करके संचार कम करती हैं। लेकिन LoRA में डिफरेंशियल प्राइवेसी जोड़ने से समस्याएं आती हैं। इससे मॉडल की प्रदर्शन क्षमता तेजी से गिर जाती है। शोर के कारण मॉडल अस्थिर हो जाता है। उपयोगी संकेत छिप जाते हैं। Fed-PriLoRA ने इन बाधाओं को हल किया है। इसने क्लाइंट अपडेट को अलग-अलग वेक्टर पेयर में तोड़ा है।
यह फ्रेमवर्क 'स्ट्रक्चर्ड फ्रीजिंग' का उपयोग करता है। इससे डिफरेंशियल प्राइवेसी शोर का गुणात्मक विस्तार रोका जाता है। साथ ही, Fisher जानकारी का उपयोग पैरामीटर के महत्व को मापने के लिए किया जाता है। इससे क्लाइंट सामान्य विशेषताओं और शोर के बीच अंतर कर पाते हैं। अपडेट अपलोड करने से पहले, स्थानीय रूप से कम योगदान वाले हिस्से हटा दिए जाते हैं। इससे संचार भार काफी कम हो जाता है। मॉडल की उपयोगिता बनी रहती है। केवल सबसे महत्वपूर्ण ग्रेडिएंट्स साझा किए जाते हैं। यह रणनीति गोपनीयता और दक्षता दोनों को बेहतर बनाती है।
प्रायोगिक परीक्षणों से पता चलता है कि Fed-PriLoRA मौजूदा आधार मॉडलों से बेहतर है। Dolly-15K और WizardLM जैसे डेटासेट पर इसने उच्च सटीकता हासिल की। भले ही प्राइवेसी नियम सख्त थे। हर चरण में संचार भार पूरी तरह फाइन-ट्यून करने की तुलना में सिर्फ 0.051% रहा। यह सीमित संसाधनों वाले वातावरण के लिए बहुत स्केलेबल है। Ablation अध्ययनों से Fisher-मार्गदर्शित प्रूनिंग की प्रभावशीलता स्पष्ट होती है। यादृच्छिक प्रूनिंग की तुलना में सटीकता में 39% की वृद्धि देखी गई। संगठन अब AI को जिम्मेदारी से लागू करना चाहते हैं। Fed-PriLoRA सुरक्षित और कुशल मॉडल अनुकूलन की एक व्यावहारिक रास्ता प्रदान करता है।