Aprendizaje profundo estable: Cómo la inicialización RReLU soluciona el problema de los gradientes que desaparecen

Basilea, Suiza, Fuente:

El aprendizaje profundo ha transformado la inteligencia artificial. Sin embargo, entrenar redes neuronales profundas sigue siendo un reto complejo. Los problemas de gradientes que desaparecen y la inestabilidad en la optimización siguen presentes. Un estudio reciente publicado en Electronics (MDPI) presenta un nuevo esquema de inicialización de pesos. Este método está diseñado específicamente para las unidades lineales rectificadas aleatorias (RReLU). Ofrece un avance significativo en la capacidad de entrenamiento de los modelos y su estabilidad al converger.

Funciones de activación estándar como ReLU son eficientes computacionalmente. Sufren del problema de la "ReLU muerta". Las neuronas se vuelven permanentemente inactivas. Alternativas como LReLU y PReLU intentan mitigar esto. La RReLU destaca por introducir estocasticidad. El enfoque muestrea aleatoriamente la pendiente negativa durante el entrenamiento. Esto genera un efecto de regularización. Los métodos de inicialización anteriores, como Xavier y He, no tenían en cuenta esta distribución aleatoria de pendientes. Esto provocaba un rendimiento subóptimo en arquitecturas profundas.

Los investigadores derivaron una nueva fórmula de inicialización que preserva la varianza. Incorpora explícitamente las propiedades estadísticas de la pendiente estocástica de RReLU. Al analizar la propagación de señales hacia adelante y el flujo de gradientes hacia atrás, el método propuesto asegura que las varianzas de las señales permanezcan estables entre capas. Este avance teórico se probó rigurosamente en redes neuronales feedforward y en Convolutional Neural Networks (CNN) profundas. Se utilizaron benchmarks como CIFAR-10, CIFAR-100 e ImageNet.

Los resultados experimentales mostraron que la inicialización específica para RReLU superó significativamente a los métodos tradicionales de Xavier y He. Esto fue especialmente cierto en redes muy profundas. Por ejemplo, en redes feedforward de 200 capas y CNN de 30 capas, el nuevo esquema mantuvo una optimización estable. La inicialización Xavier a menudo fallaba al converger. Además, una comparación exhaustiva de funciones de activación rectificadas reveló detalles importantes. PReLU logró la mayor precisión en conjuntos de datos grandes como ImageNet. LReLU y RReLU mostraron una generalización competitiva en conjuntos más pequeños como CIFAR. Esto ocurrió especialmente cuando se combinaron con sus estrategias de inicialización optimizadas correspondientes.

Esta investigación subraya la importancia crítica de alinear la inicialización de pesos con las características estadísticas específicas de las funciones de activación. Al cerrar la brecha entre la derivación teórica y la aplicación práctica, este nuevo esquema proporciona una base sólida. Permite entrenar redes neuronales más profundas y complejas sin caer en trampas de optimización. A medida que los modelos de IA continúan creciendo en tamaño y complejidad, estas técnicas de inicialización precisas serán esenciales. Desbloquearán un mayor rendimiento y fiabilidad en la clasificación de imágenes y más allá.