Как предиктивные представления устраняют неоднозначность в обучении с частичными метками: новый стандарт для данных ИИ

В стремительно развивающейся сфере искусственного интеллекта качество данных часто становится главным препятствием на пути успеха моделей. Исследователи в области машинного обучения нередко сталкиваются со специфической проблемой, известной как обучение с частичными метками (PLL). В этой парадигме обучающие примеры связаны не с одним точным ответом, а с набором возможных меток. Такая неоднозначность типична для реальных задач, таких как автоматическая аннотация изображений, медицинская диагностика и рекомендательные системы, где точная маркировка либо слишком дорога, либо технически невозможна. Главная задача здесь заключается в разрешении этой неоднозначности. Модели должны определить правильную метку из списка кандидатов и одновременно построить точный классификатор.

Традиционные методы решения задачи PLL опирались на построение графов исключительно на основе исходного пространства признаков. Эти подходы распространяют информацию о метках через такие структуры, но остаются уязвимыми перед шумом, выбросами и вариациями, не имеющими отношения к реальным классам. Подобные уязвимости могут существенно снизить надежность процесса разрешения неоднозначности. Чтобы преодолеть это ограничение, исследователи разработали новую концепцию, называемую дополнением на основе предиктивных представлений (PRA). Этот метод использует предиктивные представления, полученные предварительно обученной моделью классификации. Они служат усиленной информацией о пространстве меток, которая направляет процесс построения графов.

Рамка PRA работает по принципу «подключи и работай». Она не требует корректировки гиперпараметров или процедур оптимизации существующих базовых методов. Процесс состоит из трех этапов. Сначала базовый метод PLL, основанный на графах, проходит начальное обучение. Затем для каждого примера генерируются предиктивные представления. Наконец, модель проходит повторное обучение с добавлением этих данных. На этом финальном этапе исходные признаки, использовавшиеся для построения графов, заменяются стандартизированными предиктивными представлениями. Такие представления обеспечивают лучшее разделение классов по сравнению с сырыми данными.

Одновременно входные данные модели предсказания обогащаются за счет конкатенации исходных сырых признаков с этими предиктивными представлениями. Это гарантирует, что модель сохраняет доступ к полной информации, получая при этом дискриминативное руководство. Масштабные эксперименты на шести разнообразных эталонных наборах данных подтвердили эффективность PRA. В тесты вошли наборы Lost, MSRCv2, Mirflickr, BirdSong, Soccer Player и Yahoo! News.

При интеграции с тремя представительными методами PLL на основе графов, включая PL-LEAF, PL-AGGD и PL-CL, PRA продемонстрировала статистически значимое улучшение в 17 из 18 парных сравнений после поправки Хольма-Бонферрони. Фреймворк оказался устойчивым к различным уровням шума в метках и требовал всего два цикла обучения. Это делает его вычислительно эффективным по сравнению с итеративными подходами. Интегрируя знания о пространстве меток в процесс построения графов, PRA устанавливает новый стандарт обработки неоднозначных данных. Она предлагает масштабируемое решение для отраслей, где точные аннотации встречаются редко.