स्थिर गहन शिक्षण: RReLU आरंभीकरण विलुप्त प्रवणताओं को कैसे ठीक करता है

बेसल, स्विटजरलैंड, स्रोत:

गहन शिक्षण ने कृत्रिम बुद्धिमत्ता में क्रांतिकारी बदलाव लाया है। फिर भी गहरी तंत्रिका जालों का प्रशिक्षण देना एक जटिल चुनौती बनी हुई है। इसमें विलुप्त प्रवणताओं और अस्थिर अनुकूलन जैसे मुद्दे इसे जटिल बनाते हैं। इलेक्ट्रॉनिक्स (MDPI) पत्रिका में प्रकाशित एक नए अध्ययन ने यादृच्छिक रिसीफाइड लीकी रैखिक इकाइयों (RReLU) के लिए विशेष रूप से डिजाइन की गई एक नई वजन आरंभीकरण योजना पेश की है। यह मॉडल की प्रशिक्षणीयता और अभिसरण स्थिरता में महत्वपूर्ण सुधार लाती है।

ReLU जैसे मानक सक्रियण फलन कंप्यूटेशनली कुशल होते हैं। लेकिन वे अक्सर 'मृत ReLU' समस्या से ग्रस्त होते हैं। इसमें न्यूरॉन्स स्थायी रूप से निष्क्रिय हो जाते हैं। LReLU और PReLU जैसे विकल्प इस समस्या को कम करने का प्रयास करते हैं। RReLU अलग दिखता है क्योंकि यह यादृच्छिकता引入 करता है। यह दृष्टिकोण प्रशिक्षण के दौरान ऋणात्मक स्लोप को यादृच्छिक रूप से सैंपल करता है। इससे नियमिताकरण प्रभाव मिलता है। हालांकि, पिछली आरंभीकरण विधियाँ जैसे Xavier और He आरंभीकरण इस यादृच्छिक स्लोप वितरण को ध्यान में नहीं रखती थीं। इस कारण गहरे संरचनाओं में प्रदर्शन अपेक्षित नहीं रहा।

शोधकर्ताओं ने एक नया भिन्नता-संरक्षक आरंभीकरण सूत्र व्युत्पन्न किया है। यह सूत्र स्पष्ट रूप से RReLU के यादृच्छिक स्लोप के सांख्यिकीय गुणों को शामिल करता है। आगे की सिग्नल प्रसारण और पीछे की प्रवणता प्रवाह का विश्लेषण करने पर, प्रस्तावित विधि सुनिश्चित करती है कि सिग्नल भिन्नताएँ नेटवर्क परतों में स्थिर रहें। इस सैद्धांतिक उन्नति का कड़ाई से परीक्षण फीडफॉरवर्ड तंत्रिका जालों और गहरे कन्वोल्यूशनल तंत्रिका जालों (CNNs) पर किया गया। CIFAR-10, CIFAR-100 और ImageNet जैसे मानकों का उपयोग किया गया।

प्रयोगात्मक परिणामों ने दिखाया कि प्रस्तावित RReLU-विशिष्ट आरंभीकरण पारंपरिक Xavier और He विधियों से काफी बेहतर प्रदर्शन करता है। यह विशेष रूप से बहुत गहरे नेटवर्कों में प्रभावी रहा। उदाहरण के लिए, 200-परत वाले फीडफॉरवर्ड नेट्स और 30-परत वाले CNNs में, नई योजना ने स्थिर अनुकूलन बनाए रखा। वहीं Xavier आरंभीकरण अक्सर अभिसरण करने में विफल रहा। इसके अलावा, रिसीफाइड सक्रियण फलनों की व्यापक तुलना ने दिखाया कि जबकि PReLU ने ImageNet जैसे बड़े डेटासेट पर सबसे अधिक सटीकता हासिल की, LReLU और RReLU ने CIFAR जैसे छोटे डेटासेट पर प्रतिस्पर्धी सामान्यीकरण दिखाया। यह तब खासकर सही रहा जब उन्हें उनके संबंधित अनुकूलित आरंभीकरण रणनीतियों के साथ जोड़ा गया।

यह शोध वजन आरंभीकरण को सक्रियण फलनों की विशिष्ट सांख्यिकीय विशेषताओं के साथ समायोजित करने की महत्वपूर्ण आवश्यकता पर जोर देता है। सैद्धांतिक व्युत्पत्ति और व्यावहारिक अनुप्रयोग के बीच के अंतर को पाटते हुए, यह नई योजना बिना अनुकूलन की खोटों में फंसने के गहरे और अधिक जटिल तंत्रिका जालों के प्रशिक्षण के लिए एक मजबूत आधार प्रदान करती है। जैसे-जैसे AI मॉडल्स का आकार और जटिलता बढ़ती जा रही है, ऐसी सटीक आरंभीकरण तकनीकें छवि वर्गीकरण और उससे आगे उच्च प्रदर्शन और विश्वसनीयता को खोलने के लिए अनिवार्य होंगी।