Apprentissage profond stable : comment l'initialisation RReLU résout le problème des gradients qui s'estompent

Bâle, Suisse, Source :

L'apprentissage profond a transformé l'intelligence artificielle. Pourtant, entraîner des réseaux de neurones profoses reste un défi complexe. Les problèmes comme les gradients qui s'estompent ou l'optimisation instable freinent encore les progrès. Une étude récente publiée dans Electronics (MDPI) présente un nouveau schéma d'initialisation des poids. Il est conçu spécifiquement pour les unités linéaires rectifiées à pente fuyante aléatoires (RReLU). Cette approche offre un saut significatif en matière de facilité d'entraînement et de stabilité de convergence.

Les fonctions d'activation standard comme ReLU sont efficaces sur le plan computationnel. Elles souffrent toutefois du problème des « ReLU morts ». Les neurones deviennent alors inactifs de manière permanente. Des alternatives comme LReLU et PReLU tentent de corriger ce défaut. Le RReLU se distingue par son introduction de stochasticité. Il échantillonne aléatoirement la pente négative pendant l'entraînement. Cela crée un effet de régularisation. Cependant, les méthodes d'initialisation précédentes, telles que Xavier et He, ne tenaient pas compte de cette distribution de pente aléatoire. Elles conduisaient donc à des performances sous-optimales dans les architectures profondes.

Les chercheurs ont dérivé une nouvelle formule d'initialisation préservant la variance. Elle intègre explicitement les propriétés statistiques de la pente stochastique du RReLU. En analysant la propagation avant du signal et l'écoulement arrière du gradient, la méthode proposée garantit la stabilité des variances du signal à travers les couches du réseau. Cette avancée théorique a été rigoureusement testée sur des réseaux de neurones feedforward et des réseaux de neurones convolutifs profonds (CNN). Les tests ont utilisé des benchmarks reconnus tels que CIFAR-10, CIFAR-100 et ImageNet.

Les résultats expérimentaux montrent que l'initialisation spécifique au RReLU surpasse nettement les méthodes traditionnelles Xavier et He. Cet avantage est particulièrement marqué dans les réseaux très profonds. Par exemple, dans des réseaux feedforward à 200 couches et des CNN à 30 couches, le nouveau schéma maintient une optimisation stable. L'initialisation Xavier échoue souvent à converger dans ces configurations. De plus, une comparaison complète des fonctions d'activation rectifiées révèle que le PReLU atteint la plus haute précision sur les grands jeux de données comme ImageNet. Le LReLU et le RReLU offrent en revanche une généralisation compétitive sur des jeux plus petits comme CIFAR. Ils excellent surtout lorsqu'ils sont associés à leurs stratégies d'initialisation optimisées respectives.

Cette recherche souligne l'importance cruciale d'aligner l'initialisation des poids avec les caractéristiques statistiques spécifiques des fonctions d'activation. En comblant l'écart entre la dérivation théorique et l'application pratique, ce nouveau schéma fournit une base solide. Elle permet d'entraîner des réseaux de neurones plus profonds et complexes sans tomber dans les pièges de l'optimisation. À mesure que les modèles d'IA gagnent en taille et en complexité, des techniques d'initialisation précises deviendront essentielles. Elles seront indispensables pour libérer des performances et une fiabilité accrues, notamment en classification d'images et au-delà.