deep learning و فرق با شبکه عصبی

Question

سلام با توجه به جواب مفید شما درباره یادگیری عمیق، آیا میتوان گفت که مهمترین وجه تمایز بین شبکه عصبی معمولی قدیمی و روشهای یادگیری عمیق جدیدتر، در تعداد لایه های زیادتر این روشها میباشد؟ آیا واژه "Deep" فقط و فقط به همین تعداد لایه زیادتر اشاره دارد؟

فرضا در پردازش تصویر یک CNN میتواند شامل تعدادی لایه کانولوشن و چند لایه pooling باشد، درحالیکه در یک Mlp نهایت سه لایه مخفی و یک لایه خروجی داریم و مجموعا 4 لایه داریم که البته در موارد زیادی یک یا دو لایه مخفی کافی است.

Answer 1

بله، اصطلاح "عمیق" به طور کلی به تعداد لایه های یک شبکه عصبی اشاره دارد. یک مدل یادگیری عمیق معمولاً لایه‌های زیادی دارد، اغلب ده‌ها یا حتی صدها لایه، در حالی که یک شبکه عصبی سنتی، مانند یک MLP، معمولاً دارای تعداد لایه‌های کمتری است، اغلب فقط یک یا دو لایه پنهان.

 

با این حال، تنها تعداد لایه‌ها نیست که یادگیری عمیق را از شبکه‌های عصبی سنتی متمایز می‌کند. عوامل مهم دیگر عبارتند از:

 

انواع لایه‌های مورد استفاده: مدل‌های یادگیری عمیق اغلب از لایه‌های کانولوشن، لایه‌های تکرارشونده و/یا لایه‌های توجه استفاده می‌کنند، در حالی که شبکه‌های عصبی سنتی معمولاً از لایه‌های کاملاً متصل استفاده می‌کنند.

استفاده از مقادیر زیاد داده: مدل‌های یادگیری عمیق اغلب بر روی مقادیر زیادی داده آموزش داده می‌شوند، در حالی که شبکه‌های عصبی سنتی ممکن است به داده‌های زیادی نیاز نداشته باشند.

استفاده از سخت‌افزار قدرتمند: مدل‌های یادگیری عمیق می‌توانند محاسباتی فشرده باشند و برای آموزش مؤثر به سخت‌افزار قدرتمندی مانند GPU نیاز دارند.

شایان ذکر است که تعداد لایه ها در یک مدل تنها عاملی نیست که توانایی آن را در یادگیری نمایش های پیچیده تعیین می کند. عوامل دیگری مانند تعداد نورون‌ها در هر لایه، توابع فعال‌سازی مورد استفاده، نوع داده‌ها و تکنیک‌های منظم‌سازی مورد استفاده نیز در عملکرد مدل نقش دارند.

 

بنابراین، به طور خلاصه، یادگیری عمیق تنها به تعداد لایه‌های یک مدل اشاره نمی‌کند، بلکه ترکیبی از عوامل دیگر مانند انواع لایه‌های مورد استفاده، میزان داده‌ها و قدرت محاسباتی است.