Macro Micro News Global Pulse. Local Truth.

Fed-PriLoRA: Bagaimana Pembelajaran Federasi Privat Mengurangi Komunikasi hingga 99,95 Persen untuk Model Bahasa Besar

08 November 2026 · 1 min read

We compile, generate and translate using Artificial Intelligence from the below given source. Macro Micro News is responsible for its editorial publication.

Article image by GuerrillaBuzz
Image by GuerrillaBuzz

Integrasi Model Bahasa Besar ke dalam sektor sensitif seperti kesehatan dan keuangan menciptakan permintaan mendesak akan mekanisme privasi data yang kuat. Pembelajaran federasi memungkinkan pelatihan di perangkat terdesentralisasi tanpa berbagi data mentah. Namun, penyesuaian model besar ini tetap membutuhkan biaya komputasi tinggi dan komunikasi intensif. Perkembangan penting di bidang ini adalah pengenalan Fed-PriLoRA. Kerangka kerja sinergis ini dirancang untuk menyelaraskan pembelajaran federasi privat yang robust dengan teknik adaptasi rank rendah.

Metode penyesuaian efisien parameter tradisional seperti Low-Rank Adaptation mengurangi beban komunikasi dengan memperbarui hanya sebagian kecil parameter model. Namun, mengintegrasikan privasi diferensial ke dalam LoRA sering menyebabkan penurunan kinerja parah. Hal ini disebabkan oleh amplifikasi noise multiplikatif dan akumulasi noise antar putaran. Faktor-faktor ini mengganggu stabilitas pelatihan dan menyembunyikan sinyal berguna dari noise privasi tambahan. Fed-PriLoRA mengatasi hambatan kritis ini melalui pendekatan arsitektur baru yang memisahkan pembaruan klien menjadi pasangan vektor terpisah.

Kerangka kerja ini menggunakan pembekuan terstruktur untuk menekan amplifikasi noise privasi diferensial. Selain itu, metode ini memanfaatkan informasi Fisher untuk mengevaluasi pentingnya parameter. Ini memungkinkan klien membedakan antara fitur yang dapat digeneralisasi dan gangguan noise. Dengan membuang komponen berkontribusi rendah secara lokal sebelum mengunggah pembaruan, Fed-PriLoRA secara signifikan mengurangi beban komunikasi sambil mempertahankan utilitas model yang tinggi. Strategi pemangkasan yang sadar noise ini memastikan hanya gradien paling informatif yang dibagikan. Hal ini meningkatkan baik privasi maupun efisiensi.

Evaluasi empiris menunjukkan keunggulan Fed-PriLoRA dibandingkan baseline non-privasi yang ada seperti StackLoRA. Pada dataset benchmark termasuk Dolly-15K dan WizardLM, kerangka kerja ini mencapai akurasi lebih tinggi meskipun memiliki batasan privasi yang ketat. Yang menarik, overhead komunikasi per putaran berkurang menjadi hanya 0,051 persen dari yang diperlukan untuk penyesuaian penuh. Ini membuatnya sangat skalabel untuk lingkungan dengan sumber daya terbatas. Studi ablasi lebih lanjut menyoroti efektivitas pemangkasan yang dipandu Fisher. Metode ini menghasilkan peningkatan akurasi relatif sebesar 39 persen dibandingkan metode pemangkasan acak. Saat organisasi berupaya menerapkan AI secara bertanggung jawab, Fed-PriLoRA menawarkan jalur yang layak menuju adaptasi model yang aman, efisien, dan berkinerja tinggi.