تفاوت Rectified Linear Unit (ReLU) activation function با دیگر توابع فعال سازی - هفت خط کد انجمن پرسش و پاسخ برنامه نویسی

سوالات مرتبط

وبـــلاگ هــفت خــط کــد


آموزش های برنامه نویسی
۲۲۲ نفر آنلاین
۵۲ عضو و ۱۷۰ مهمان در سایت حاضرند

تفاوت Rectified Linear Unit (ReLU) activation function با دیگر توابع فعال سازی

+1 امتیاز
سلام.

تابع RELU نسبت به دیگر توابع فعال سازی tanh و sigmoid چه مزایا و معایبی داره؟
سوال شده فروردین 6, 1396  بوسیله ی shadi (امتیاز 33)  ● 5 ● 6 ● 8
share on gp share on fb share on tw share on li share on re share via email

1 پاسخ

+2 امتیاز
 
بهترین پاسخ
توابع سیگموئید و تانژانت در نواحی دور از صفر اشباع می شوند و موجب می شود میزان بروزرسانی وزن ها در نورونی که خروجی آن قبل از تابعع فععالیت بزرگ است بسیار ناچیز باشد در حالیکه تابع ReLU خطی است و این مشکل را ندارد
پاسخ داده شده تیر 21, 1396 بوسیله ی حسین راستگو (امتیاز 123)  
انتخاب شد مهر 25, 1396 بوسیله ی farnoosh
 
Powered by Question2Answer
...