Home /Gadgets

تعمق مستقر في التعلم: كيف يعالج بدء RReLU مشكلة تلاشي التدرجات

21 September 2026 · 1 min read

We compile, generate and translate using Artificial Intelligence from the below given source. Macro Micro News is responsible for its editorial publication.

Article image by Pietro Jeng — Image by Pietro Jeng

بيزل، سويسرا - المصدر:

غيّر التعلم العميق وجه الذكاء الاصطناعي. ومع ذلك يظل تدريب الشبكات العصبية العميقة تحديًا معقدًا. تعاني هذه العملية من مشاكل مثل تلاشي التدرجات وعدم استقرار التحسين. نشرت مجلة Electronics التابعة لـ MDPI دراسة حديثة. تقدم الدراسة مخططًا جديدًا لتهيئة الأوزان مصممًا خصيصًا لوحدات RReLU العشوائية.

توفر هذه الطريقة قفزة كبيرة في قابلية تدريب النماذج واستقرار تقاربها. تعمل وظائف التنشيط القياسية مثل ReLU بكفاءة حسابية عالية. لكنها تعاني غالبًا من مشكلة "الخلل الميت". تصبح فيها الخلايا العصبية غير نشطة إلى الأبد. تحاول بدائل مثل LReLU وPReLU التخفيف من هذا الأمر. لكن RReLU يتميز بإدخال العشوائية. يقوم هذا الأسلوب بأخذ عينات عشوائية للميل السالب أثناء التدريب. يوفر ذلك تأثير تنظيميًا.

لم تأخذ طرق التهيئة السابقة مثل Xavier وHe في الاعتبار توزيع الميل العشوائي هذا. أدى ذلك إلى أداء دون المستوى الأمثل في الهياكل العميقة. استنتج الباحثون صيغة جديدة للحفاظ على التباين. تتضمن الصيغة خصائص إحصائية صريحة لميل RReLU العشوائي. حلل الفريق انتشار الإشارة الأمامي وتدفق التدرج العكسي. تضمن هذه الطريقة بقاء تباينات الإشارة مستقرة عبر طبقات الشبكة.

اختُبر هذا التقدم النظري بدقة على الشبكات العصبية ذات التغذية الأمامية والشبكات العصبية التلافيفية العميقة (CNNs). استخدم الباحثون معايير مثل CIFAR-10 وCIFAR-100 وImageNet. أظهرت النتائج التجريبية تفوق طريقة التهيئة الخاصة بـ RReLU بشكل كبير على أساليب Xavier وHe التقليدية. كان هذا واضحًا خاصة في الشبكات العميقة جدًا. على سبيل المثال حافظت الطريقة الجديدة على تحسين مستقر في شبكات 200 طبقة وشبكات CNN مكونة من 30 طبقة. بينما فشلت طريقة Xavier غالبًا في التقارب.

كشف المقارنة الشاملة لوظائف التنشيط المصححة أن PReLU حقق أعلى دقة على مجموعات بيانات كبيرة مثل ImageNet. أظهرت LReLU وRReLU تعميمًا تنافسيًا على مجموعات بيانات أصغر مثل CIFAR. كان هذا أكثر وضوحًا عند اقترانها باستراتيجيات التهيئة المحسنة الخاصة بها. تؤكد هذه البحث على أهمية مطابقة تهيئة الأوزان مع الخصائص الإحصائية المحددة لوظائف التنشيط. يسد هذا المخطط الجديد الفجوة بين الاستنتاج النظري والتطبيق العملي. يوفر أساسًا متينًا لتدريب شبكات عصبية أعمق وأكثر تعقيدًا دون الوقوع في فخ التحسين. مع استمرار نمو نماذج الذكاء الاصطناعي في الحجم والتعقيد ستصبح تقنيات التهيئة الدقيقة ضرورية. سيساعد ذلك في تحقيق أداء وموثوقية أعلى في تصنيف الصور وما بعدها.