DyMC-YOLO: Wie Dual-Stream-Fusion die Echtzeit-Erkennung auf 46 FPS beschleunigt

Die Objekterkennung ist ein Grundpfeiler der intelligenten visuellen Wahrnehmung. Sie treibt wichtige Fortschritte im autonomen Fahren, bei der Sicherheitsüberwachung und in der Präzisionslandwirtschaft voran. Herkömmliche Detektoren im sichtbaren Spektrum stoßen jedoch oft an ihre Grenzen. Schlechte Lichtverhältnisse, Blendeffekte oder starke Verdeckungen führen häufig zu Fehlern. Forscher haben nun DyMC-YOLO vorgestellt. Dieser neuartige Dual-Stream-Detektor fusioniert RGB- und Infrarotdaten. So steigt die Leistungsfähigkeit in unterschiedlichsten Umgebungen.

DyMC-YOLO basiert auf der YOLOv13-Architektur. Diese wurde gewählt, weil sie Genauigkeit und Echtzeiteffizienz gut ausbalanciert. Das System nutzt symmetrische, aber unabhängig parametrisierte Backbone-Zweige für RGB- und In infrarot-Eingaben. Eine Schlüsselinnovation ist das Complementary Mask-Guided Feature Fusion Modul. Es führt kanalbewahrende räumliche Gewichtung auf drei semantischen Ebenen durch. Vorherige Methoden verdoppelten oft die Feature-Breite oder benötigten komplexe Projektionen. Dieses Modul erzeugt stattdessen eine einzige komplementäre räumliche Maske. Sie gewichtet die Modalitäten adaptiv basierend auf dem Bildinhalt.

Dieser Ansatz bewahrt direkte Feature-Übertragungswege durch Identitätsabbildungen in späten Blockstufen. Das Modell bringt zudem den Dynamic Multi-Path Detection Head mit. Diese Komponente ersetzt feste Vorhersagestrukturen durch aufgaben spezifische dynamische Routing-Blöcke. Der Head aggregiert für jedes Sample Kurz-, Mittel- und Langstrecken-Vorhersagewege. Dies geschieht mithilfe von sample-konditionierten Koeffizienten. Das Netzwerk kann so sein Empfangsfeld dynamisch für Regressions- und Klassifikationsaufgaben anpassen. Die Lokalisierung und das Kontextverständnis verbessern sich dabei, ohne dass die Rechenlatenz signifikant ansteigt.

Evaluierungen auf dem M3FD-Verkehrsdatensatz und einem selbst erstellten RGB-NIR-Rebendatensatz zeigten überlegene Kompromisse zwischen Genauigkeit und Effizienz. Auf M3FD erreichte das Modell eine mean Average Precision von 51,73 Prozent. Damit schlug es andere leichte YOLO-basierte Fusionsmethoden. Gleichzeitig behielt es ein kompaktes Footprint von etwa acht Millionen Parametern. Auf dem landwirtschaftlichen Rebendatensatz lag die mAP bei 83,06 Prozent. Dies unterstreicht die Robustheit in stark verrauschten und dunklen Szenen.

Das Modell zeigte starke Resilienz gegenüber cross-modalen Registrierungsfehlern und fehlenden Modalitäten. Selbst unter kontrollierten Störungen blieb die absolute Detektionsgenauigkeit hoch. Mit einer Inferenzgeschwindigkeit von fast 46 FPS und geringem Speicherverbrauch präsentiert sich DyMC-YOLO als praktikable Lösung für Edge-Deployments auf neuronalen Verarbeitungseinheiten. Durch die effektive Kombination hierarchischer Feature-Fusion mit dynamischen Vorhersagewegen setzt diese Architektur einen neuen Standard für zuverlässige Echtzeit-Multimodal-Objekterkennung unter herausfordernden visuellen Bedingungen.