Stabilitas Deep Learning: Bagaimana Inisialisasi RReLU Mengatasi Masalah Gradien yang Hilang

Basel, Swiss, Sumber:

Deep learning telah mengubah bidang kecerdasan buatan. Namun, pelatihan jaringan saraf dalam tetap menjadi tantangan rumit. Masalah seperti gradien yang hilang dan optimisasi tidak stabil sering menghambat proses ini. Sebuah studi terbaru yang diterbitkan di jurnal Electronics (MDPI) memperkenalkan skema inisialisasi bobot baru. Skema ini dirancang khusus untuk Randomized Leaky Rectified Linear Units atau RReLU. Inovasi ini merupakan langkah besar menuju kemudahan pelatihan model dan stabilitas konvergensi.

Fungsi aktivasi standar seperti ReLU efisien secara komputasi. Sayangnya, fungsi ini rentan terhadap masalah "dying ReLU". Dalam kondisi ini, neuron menjadi tidak aktif secara permanen. Alternatif seperti LReLU dan PReLU mencoba mengatasi masalah tersebut. RReLU menonjol karena引入 unsur stokastik. Pendekatan ini mengambil sampel kemiringan negatif secara acak selama pelatihan. Hal ini memberikan efek regularisasi. Metode inisialisasi sebelumnya seperti Xavier dan He tidak disesuaikan dengan distribusi kemiringan acak ini. Akibatnya, performa pada arsitektur dalam menjadi kurang optimal.

Para peneliti menurunkan formula inisialisasi baru yang menjaga varians. Formula ini secara eksplisit memasukkan sifat statistik kemiringan stokastik RReLU. Dengan menganalisis propagasi sinyal maju dan aliran gradien mundur, metode yang diusulkan memastikan varians sinyal tetap stabil di seluruh lapisan jaringan. Kemajuan teoretis ini diuji secara ketat pada jaringan saraf feedforward dan Convolutional Neural Networks (CNN) dalam. Pengujian menggunakan benchmark CIFAR-10, CIFAR-100, dan ImageNet.

Hasil eksperimen menunjukkan bahwa inisialisasi khusus RReLU jauh lebih unggul dibandingkan metode Xavier dan He tradisional. Keunggulan ini terutama terlihat pada jaringan yang sangat dalam. Sebagai contoh, pada jaringan feedforward berlapis 200 dan CNN berlapis 30, skema baru mempertahankan optimisasi yang stabil. Sebaliknya, inisialisasi Xavier sering gagal mencapai konvergensi. Perbandingan menyeluruh terhadap fungsi aktivasi rectified juga mengungkapkan temuan penting. PReLU mencapai akurasi tertinggi pada dataset skala besar seperti ImageNet. Namun, LReLU dan RReLU menunjukkan generalisasi yang kompetitif pada dataset lebih kecil seperti CIFAR. Hasil ini semakin baik ketika dipadukan dengan strategi inisialisasi yang dioptimalkan sesuai fungsinya.

Penelitian ini menekankan pentingnya menyelaraskan inisialisasi bobot dengan karakteristik statistik spesifik dari fungsi aktivasi. Dengan menjembatani kesenjangan antara derivasi teoretis dan aplikasi praktis, skema baru ini menyediakan fondasi kuat. Fondasi ini memungkinkan pelatihan jaringan saraf yang lebih dalam dan kompleks tanpa terjebak dalam jebakan optimisasi. Seiring model AI terus berkembang dalam ukuran dan kompleksitas, teknik inisialisasi yang presisi akan menjadi kunci. Teknik ini penting untuk membuka potensi kinerja dan keandalan yang lebih tinggi dalam klasifikasi gambar dan bidang lainnya.