PSGAN: Cómo los GAN de pseudo-sensación transforman la visión en baja luz para aplicaciones en tiempo real
We compile, generate and translate using Artificial Intelligence from the below given source. Macro Micro News is responsible for its editorial publication.
En el complejo mundo del procesamiento digital de señales, combinar imágenes infrarrojas y visibles se ha convertido en una herramienta vital para ver con claridad bajo condiciones difíciles. Esta técnica de fusión une los datos térmicos de los sensores infrarrojos con los detalles ricos en textura capturados por las cámaras de luz visible. Así supera las limitaciones de usar un solo tipo de sensor. La imagen de modalidad única suele tener problemas en la oscuridad o presentar ruido en las lecturas infrarrojas. Sin embargo, lograr que estos dos tipos de datos funcionen juntos de manera fluida siempre ha sido difícil debido a sus diferencias inherentes y los desafíos que plantean los entornos oscuros.
Los investigadores han presentado ahora una nueva solución llamada PSGAN. Este sistema utiliza una red generativa adversaria (GAN) con triple discriminador que incluye un mecanismo de pseudo-sensación. La idea es bastante ingeniosa. Alinea las distribuciones de los distintos tipos de imágenes mientras simula el proceso inverso de cómo percibimos las imágenes. Al comparar lo que produce el módulo de pseudo-sensación con las imágenes originales, el marco garantiza que los resultados generados mantengan coherencia física. Este enfoque funciona bien incluso sin necesidad de etiquetas de referencia explícitas para guiar el proceso.
La arquitectura detrás de PSGAN cuenta con un módulo de fusión multiescala mejorado conocido como UNW-Fuser. Este componente usa atención basada en normalización y convoluciones wavelet para ampliar el campo receptivo y filtrar información redundante. También forma parte del sistema un discriminador de iluminación. Este ayuda a orientar las imágenes fusionadas hacia un brillo y contraste óptimos. Para medir el éxito, el método emplea un marco de evaluación multicriterio basado en la teoría de evidencia de Dempster-Shafer. Esto ofrece una visión completa del rendimiento en varias dimensiones.
Las pruebas realizadas en varios conjuntos de datos, incluidos MSRS, M3FD, TNO y LLVIP, muestran que PSGAN ofrece mayor precisión y capacidad de generalización que los métodos más avanzados actuales. Hace un gran trabajo al mantener los bordes nítidos y preservar los detalles de la textura, todo ello conservando niveles naturales de brillo. En tareas posteriores como la detección de objetos, reduce significativamente los falsos positivos. Existen algunos pequeños compromisos en la detección de peatones debido a cambios en el contraste local durante la mejora en baja luz, pero las ganancias generales son sustanciales.
Lo que hace a PSGAN particularmente atractivo es su diseño ligero. Con solo 0,127 millones de parámetros y un tiempo de inferencia de 17,24 milisegundos, ofrece un excelente equilibrio entre velocidad y calidad. Esta eficiencia lo hace ideal para aplicaciones en tiempo real en conducción autónoma, vigilancia y operaciones militares, donde la visión fiable con poca luz es crucial. Los desarrollos futuros podrían centrarse en crear mecanismos de puerta adaptativa conscientes de la iluminación para mejorar aún más la adaptabilidad en diferentes escenarios de luz.