چرا تصاویر ورودی به شبکه عمیق را نرمال می کنیم

Question

سلام .علت چیه که تصاویر ورودی را باید نرمال کنیم بدیم به شبکه آیا خود اصل تصویر را نمیشه داد؟

Answer 1

تصاویر ورودی را باید نرمال کنیم تا آموزش شبکه عصبی پایدارتر و سریعتر باشد. نرمال کردن تصاویر به این معنی است که مقادیر هر پیکسل را به یک مقیاس مشترک تبدیل کنیم. این کار باعث می شود که شبکه عصبی به طور یکسان به تمام بخش های تصویر حساس باشد و از تمرکز بیش از حد روی یک بخش خاص جلوگیری کند.

خود اصل تصویر را نمی توان به شبکه داد زیرا ممکن است مقادیر پیکسل ها در محدوده وسیعی باشد. این باعث می شود که شبکه عصبی برای آموزش دشوار باشد و ممکن است بهینه سازی شود. نرمال کردن تصاویر به حل این مشکل کمک می کند و باعث می شود که شبکه عصبی به طور موثرتری آموزش ببیند.

روش های مختلفی برای نرمال کردن تصاویر وجود دارد. یک روش رایج این است که مقادیر هر پیکسل را به یک مقیاس 0 تا 1 تبدیل کنیم. این کار را می توان با کسر مقادیر هر پیکسل از مقدار حداکثر در تصویر انجام داد.

روش دیگری برای نرمال کردن تصاویر این است که مقادیر هر پیکسل را به یک میانگین 0 و انحراف معیار 1 تبدیل کنیم. این کار را می توان با کسر مقادیر هر پیکسل از میانگین تصویر و سپس تقسیم آنها بر انحراف معیار تصویر انجام داد.

روش نرمال کردن تصاویر به داده ها و مدل عصبی مورد استفاده بستگی دارد. با این حال، نرمال کردن تصاویر یک مرحله مهم در آموزش شبکه های عصبی است و می تواند به بهبود دقت و سرعت آموزش کمک کند.

 

Answer 2

 

ناپدید شدن گرادیان‌ها یک مشکلی است که ممکن است در شبکه‌های عصبی عمیق رخ دهد. این اتفاق زمانی رخ می‌دهد که گرادیان‌های تابع زیان بسیار کوچک می‌شوند، که به این معنی است که وزن‌های شبکه عصبی خیلی زیاد به‌روزرسانی نمی‌شوند. این موضوع می‌تواند باعث شود یادگیری شبکه عصبی دشوار شود.

 

یک راه برای کمک به جلوگیری از ناپدید شدن گرادیان‌ها، مرکزگذاری ویژگی‌ها در صفر است. این به معنای کم کردن میانگین ویژگی‌ها از هر ویژگی است. این کار به حصول اطمینان از اینکه گرادیان‌ها خیلی کوچک نشوند، کمک می‌کند.

 

یک راه دیگر برای جلوگیری از ناپدید شدن گرادیان‌ها، استفاده از تکنیکی به نام Batch Normalization است. نرمال‌سازی بچ ورودی‌های هر لایه شبکه عصبی را نرمال می‌کند. این کمک می‌کند فرایند آموزش را ثابت نگه دارد و جلوی ناپدید شدن گرادیان‌ها را می‌گیرد. 

 

ناپدید شدن گرادیان‌ها یک مشکل پیچیده است و هیچ راه حل کلی برای همه شبکه‌های عصبی وجود ندارد. با این حال، مرکزگذاری ویژگی‌ها در صفر و استفاده از نرمال‌سازی بچ دو تکنیک هستند که می‌توانند به جلوگیری از ناپدید شدن گرادیان‌ها کمک کنند.