مشکل vanishing gradients در یادگیری عمیق - هفت خط کد انجمن پرسش و پاسخ برنامه نویسی

وبـــلاگ هــفت خــط کــد


آموزش های برنامه نویسی
۱۶۵ نفر آنلاین
۰ عضو و ۱۶۵ مهمان در سایت حاضرند

مشکل vanishing gradients در یادگیری عمیق

0 امتیاز
136 بازدید
برای جلوگیری از vanishing gradients در deep learning چه راه حل هایی وجود داره؟
سوال شده اردیبهشت 29, 1396  بوسیله ی مریم اکرمی (امتیاز 344)   2 11 51

1 پاسخ

0 امتیاز

در برخی از موارد تو پروسه آموزش هر چقدر به سمت لایه های پایین می ریم گرادیان کوچک و کوچک تر میشه بطورئیکه وزن های در لایه های پایین عملاً بروز رسانی نمیشه این پدیده باعث میشه که شبکه نتونه همگرا بشه.

پاسخ داده شده آذر 27, 1396 بوسیله ی مصطفی ساتکی (امتیاز 17,041)   17 26 66
...