DyMC-YOLO: Как слияние двух потоков ускоряет обнаружение объектов до 46 кадров в секунду

Обнаружение объектов — это фундаментальная основа интеллектуального зрительного восприятия. Эта технология лежит в основе прорывов в автономном вождении, системах видеонаблюдения и точном земледелии. Однако традиционные детекторы видимого спектра часто дают сбой при неблагоприятных условиях. К таким условиям относятся плохое освещение, блики и сильные перекрытия объекта. Исследователи представили DyMC-YOLO. Это новый детектор с двумя потоками, который объединяет данные RGB и инфракрасного излучения для повышения эффективности в разных средах.

DyMC-YOLO создан на базе архитектуры YOLOv13. Этот выбор обусловлен балансом между точностью и скоростью работы в реальном времени. Система использует симметричные ветви основного блока с независимыми параметрами для входных данных RGB и инфракрасного диапазона. Главное новшество — модуль слияния признаков с комплементарной маской. Он выполняет пространственное взвешивание с сохранением каналов на трех уровнях семантики. Предыдущие методы часто удваивали ширину признаков или требовали сложных проекций. Новый модуль генерирует одну комплементарную пространственную маску. Она адаптированно взвешивает модальности в зависимости от содержимого изображения.

Этот подход сохраняет прямые пути передачи признаков через отображения идентичности в блоках поздних стадий. Модель также внедряет динамическую многопутевую головку детектирования. Этот компонент заменяет фиксированные структуры предсказания на блоки динамической маршрутизации, специфичные для задачи. Для каждого образца головка агрегирует пути предсказания короткого, среднего и дальнего радиуса. Коэффициенты зависят от условий конкретного образца. Это позволяет сети динамически настраивать поле восприятия для задач регрессии и классификации. Результат — улучшение локализации и понимания контекста без значительного увеличения вычислительных задержек.

Оценка на наборе данных M3FD (транспорт) и собственном наборе данных винограда (RGB-NIR) показала превосходный баланс точности и эффективности. На M3FD модель достигла средней точности (mAP) 51,73%. Она превзошла другие легкие методы слияния на базе YOLO, сохраняя компактный размер около 8 миллионов параметров. На сельскохозяйственном наборе данных винограда показатель mAP составил 83,06%. Это подтверждает устойчивость модели к зашумленным сценам с низким освещением.

Модель продемонстрировала высокую устойчивость к межмодальной несогласованности и отсутствию данных одной из модальностей. Абсолютная точность детектирования оставалась высокой даже при контролируемых возмущениях. Скорость вывода составляет почти 46 кадров в секунду при низком потреблении памяти. DyMC-YOLO представляет собой жизнеспособное решение для развертывания на периферийных нейронных процессорах. Архитектура эффективно сочетает иерархическое слияние признаков с динамическими путями предсказания. Она задает новый стандарт надежного обнаружения объектов в режиме реального времени для мультимодальных систем в сложных визуальных условиях.