تابع فعال سازی softmax

Question

چرا از softmax به عنوان تابع فعال سازی استفاده می کنیم اغلب روی خروجی dnn از این تابع فعال سازی استفاده میشه دنبال علتشم

Answer 1

تابع فعال‌سازی softmax معمولاً به عنوان فعال‌سازی لایه خروجی در شبکه‌های عصبی عمیق (DNN) استفاده می‌شود، زیرا توزیع احتمال را در چندین کلاس ارائه می‌کند. Softmax مقادیر ورودی را به یک توزیع احتمال نگاشت می‌کند، بنابراین خروجی‌های تابع مجموع 1 می‌شوند و می‌توانند به عنوان احتمالات کلاس تفسیر شوند. سپس کلاسی که بیشترین احتمال را دارد به عنوان پیش‌بینی مدل در نظر گرفته می‌شود. Softmax یک تابع فعال‌سازی مناسب برای لایه خروجی است زیرا هدف تولید یک توزیع احتمال بر روی مجموعه‌ای از کلاس‌های انحصاری متقابل است که softmax می‌تواند با اطمینان از مثبت بودن مقادیر خروجی و مجموع 1 آن را مدیریت کند.

Answer 2

سلام
تاجایی که میدونم تو مسائل classification  خیلی استفاده داره و اونم به این خاطره که  به فرم احتمالی خروجی میده

و ما هم در این گونه مسائل میخوایم احتمال تعلق داده به هر کلاس رو بدونیم و این تابع برای این کار مناسبه .

Answer 3

لایه آخر شبکه خروجی به نام logit را ایجاد می کنند که مقدارش از منفی بینهایت تا مثبت بینهایت متغیره . به همین جهت از تابع softmax جهت اکسیل خروجی به  بازه صفر و یک استفاده می کنیم که از این طریق چگالی پیش بینی برای همه کلاس ها مدل مشخص میشه و مجموع این چگالی برای همه کلاس یک است.