Wie SANet die Kosten für das Training multimodaler KI um 90 Prozent senkt und gleichzeitig die Genauigkeit steigert

Die Landschaft der multimodalen großen Sprachmodelle verändert sich rasant. Systeme wie LLaVA, InternVL und Qwen-VL haben die Art und Weise transformiert, wie Maschinen visuelle Daten interpretieren. Dennoch bleibt ein hartnäckiges Hindernis bestehen. Die Erstellung hochwertiger Datensätze zum Anlernen mit Anweisungen erfordert erhebliche Ressourcen. Der Prozess ist kostspielig und zeitaufwändig. Oft enthält das resultierende Datenmaterial Rauschen oder Redundanzen. Traditionelle Skalierungsmethoden führen zu einer schwachen Ausrichtung zwischen Bildern und Text. Dieses Ungleichgewicht führt zu ineffizienten Trainingszyklen.

Forscher haben als Antwort darauf SANet entwickelt, ein Selection-Augmentation Network. Dieses Framework bietet einen neuartigen Ansatz zur effizienten Konstruktion multimodaler Anweisungsdaten. Es arbeitet unter festen Datenbudgets. Im Gegensatz zu statischen Selektionsmethoden, die lediglich vorhandene Daten filtern, nutzt SANet einen iterativen Closed-Loop-Prozess. Dieser umfasst Auswahl, Verfeinerung, Ergänzung und Neubewertung. Dieser Zyklus stellt sicher, dass nur die wertvollsten Stichproben zum Modelltraining beitragen. Der Rechenoverhead sinkt deutlich, während die Leistung hoch bleibt.

SANet stützt sich auf zwei Kernmechanismen. Multi-Criteria Selection identifiziert Kandidatenstichproben basierend auf der Verteilungsabdeckung und der Optimierungsnützlichkeit. Bi-Level Augmentation verfeinert einzelne Stichproben und ergänzt unterrepräsentierte Fähigkeiten. Wichtig ist, dass augmentierte Kandidaten nicht sofort in den endgültigen Subset aufgenommen werden. Sie durchlaufen nachfolgende Neuselektionsphasen. Dieser zusätzliche Schritt garantiert die Qualität vor der Aufnahme.

Experimente mit einem festen Datenbudget von sechs Prozent des LLaVA-1.5-Datensatzes unterstreichen die Effizienz von SANet. Das Modell erreichte einen Durchschnittswert von 61,88 über die Benchmarks ScienceQA, MMBench und TextVQA. Dieses Ergebnis übertraf zufällige Auswahlverfahren sowie andere Baselines wie LESS-MM. Der kompakte Subset reduzierte die End-to-End-Trainingszeit auf etwa 35 Stunden. Das Fine-Tuning mit allen Daten benötigte 67 Stunden. Der konstruierte Subset zeigte zudem eine starke Wiederverwendbarkeit über Modelle hinweg. Er funktionierte effektiv bei verschiedenen Backbones wie Qwen2-VL-7B und InternVL2.5-8B. Eine backbone-spezifische Rekonstruktion war nicht erforderlich.

Analysen zeigen einige Grenzen bei fein granulierter kompositioneller Schlussfolgerungsaufgaben. Die Leistung auf dem GQA-Benchmark weist Verbesserungsbedarf auf. Der Augmentationsprozess führt gelegentlich zu subtilen Fehlerquellen in der Schlussfolgerung oder visuellen Verankerung. Diese beeinträchtigen die Leistung bei hochspezifischen Bewertungsmetriken. Trotz dieser Schwäche markiert SANet einen bedeutenden Fortschritt in der datenzentrierten KI. Es bietet einen praktischen Pipeline-Ansatz zum Training multimodaler Modelle der nächsten Generation. Durch die Entkopplung der Datenkonstruktion vom Modelltraining können Organisationen wiederverwendbare Datensätze aufbauen. Dies beschleunigt Entwicklungszyklen und verringert die Abhängigkeit von massiven Rechenressourcen.