DyMC-YOLO: Como a Fusão de Duplo Fluxo Atinge 46 FPS em Detecção em Tempo Real

A detecção de objetos é um pilar fundamental da percepção visual inteligente. Ela impulsiona avanços críticos na condução autônoma, vigilância de segurança e agricultura de precisão. No entanto, detectores tradicionais do espectro visível frequentemente falham sob condições adversas como baixa iluminação, brilho intenso ou oclusões pesadas. Pesquisadores apresentaram agora o DyMC-YOLO, um detector inovador de duplo fluxo que funde dados RGB e infravermelhos para melhorar o desempenho em diversos ambientes.

O DyMC-YOLO baseia-se na arquitetura YOLOv13, escolhida por seu equilíbrio entre precisão e eficiência em tempo real. O sistema utiliza ramos de backbone simétricos, mas com parâmetros independentes, para entradas RGB e infravermelhas. Uma inovação chave é o módulo de Fusão de Características Guiado por Máscara Complementar. Ele realiza ponderação espacial que preserva os canais em três níveis semânticos. Diferente de métodos anteriores que podem dobrar a largura dos recursos ou exigir projeções complexas, este módulo gera uma única máscara espacial complementar para pesar adaptativamente as modalidades com base no conteúdo da imagem.

Essa abordagem preserva caminhos diretos de transmissão de características através de mapeamentos de identidade nos blocos de estágio tardio. O modelo também introduz a Cabeça de Detecção Dinâmica Multi-Caminho. Este componente substitui estruturas de previsão fixas por blocos de roteamento dinâmico específicos para tarefas. Para cada amostra, a cabeça agrega caminhos de previsão de curto, médio e longo alcance usando coeficientes condicionados pela amostra. Isso permite que a rede ajuste dinamicamente seu campo receptivo para tarefas de regressão e classificação, melhorando a localização e a compreensão contextual sem aumentar significativamente a latência computacional.

As avaliações no conjunto de dados de tráfego M3FD e em um conjunto de dados de uvas RGB-NIR construído internamente demonstraram trocas superiores entre precisão e eficiência. No M3FD, o modelo atingiu uma Precisão Média (mAP) de 51,73%, superando outros métodos de fusão leves baseados em YOLO enquanto mantinha uma pegada compacta de aproximadamente 8 milhões de parâmetros. No conjunto de dados agrícola de uvas, alcançou 83,06% de mAP, mostrando robustez em cenas escuras e com muitos elementos.

O modelo exibiu forte resiliência a cenários de desalinhamento intermodal e ausência de modalidade, mantendo alta precisão absoluta mesmo sob perturbações controladas. Com uma velocidade de inferência de quase 46 FPS e baixo consumo de memória, o DyMC-YOLO apresenta uma solução viável para implantação em borda em unidades de processamento neural. Ao combinar efetivamente a fusão hierárquica de características com caminhos de previsão dinâmicos, esta arquitetura estabelece um novo padrão para detecção confiável de objetos multimodais em tempo real sob condições visuais desafiadoras.