Fed-PriLoRA: Как приватное федеративное обучение снижает объём передачи данных для больших языковых моделей на 99,95%
We compile, generate and translate using Artificial Intelligence from the below given source. Macro Micro News is responsible for its editorial publication.
Внедрение больших языковых моделей в такие чувствительные сферы, как здравоохранение и финансы, создаёт острую потребность в надёжных механизмах защиты данных. Федеративное обучение позволяет тренировать модели на децентрализованных устройствах без передачи исходных данных. Однако дообучение таких массивных моделей остаётся вычислительно затратным процессом, требующим большого объёма коммуникаций. Важным шагом в этой области стало появление Fed-PriLoRA. Эта синергетическая система объединяет принципы приватного и устойчивого федеративного обучения с техниками адаптации на основе низкоранговых матриц.
Традиционные методы эффективного дообучения, такие как Low-Rank Adaptation (LoRA), снижают нагрузку на сеть за счёт обновления лишь небольшой части параметров модели. Однако внедрение дифференциальной приватности в LoRA часто приводит к сильному падению качества из-за усиления мультипликативного шума и его накопления между раундами обучения. Эти факторы дестабилизируют процесс и маскируют полезные сигналы шумом приватности. Fed-PriLoRA решает эти проблемы с помощью новой архитектурной идеи. Она разделяет обновления клиентов на отдельные векторные пары.
Система использует структурированную заморозку параметров для подавления мультипликативного усиления шума дифференциальной приватности. Кроме того, она применяет информацию Фишера для оценки важности параметров. Это позволяет клиентам отличать обобщаемые признаки от помех. Отбрасывая компоненты с низким вкладом локально перед отправкой обновлений, Fed-PriLoRA значительно сокращает объём передаваемых данных. При этом сохраняется высокая полезность модели. Эта стратегия отсечения, учитывающая уровень шума, гарантирует передачу только наиболее информативных градиентов. Это повышает как безопасность, так и эффективность.
Эмпирические тесты показывают превосходство Fed-PriLoRA над существующими непубличными базовыми вариантами, такими как StackLoRA. На эталонных наборах данных Dolly-15K и WizardLM система демонстрирует более высокую точность даже при строгих ограничениях приватности. Особенно важно, что объём передачи данных за один раунд составляет всего 0,051% от необходимого для полного дообучения. Это делает решение масштабируемым для сред с ограниченными ресурсами. Исследования аблиации также подтверждают эффективность отсечения под руководством информации Фишера. Оно обеспечивает относительный рост точности на 39% по сравнению со случайным отсечением. По мере того как организации стремятся внедрять ИИ ответственно, Fed-PriLoRA предлагает реальный путь к безопасной, эффективной и высокопроизводительной адаптации моделей.