تفاوت Rectified Linear Unit (ReLU) activation function با دیگر توابع فعال سازی - هفت خط کد انجمن پرسش و پاسخ برنامه نویسی

تفاوت Rectified Linear Unit (ReLU) activation function با دیگر توابع فعال سازی

+1 امتیاز
28 بازدید
سلام.

تابع RELU نسبت به دیگر توابع فعال سازی tanh و sigmoid چه مزایا و معایبی داره؟
سوال شده فروردین 6  بوسیله ی shadi (امتیاز 26)   2

1 پاسخ

+1 امتیاز
توابع سیگموئید و تانژانت در نواحی دور از صفر اشباع می شوند و موجب می شود میزان بروزرسانی وزن ها در نورونی که خروجی آن قبل از تابعع فععالیت بزرگ است بسیار ناچیز باشد در حالیکه تابع ReLU خطی است و این مشکل را ندارد
پاسخ داده شده تیر 21 بوسیله ی حسین راستگو (امتیاز 43)  
...