در روش کاهش گرادیان batch از تمام نمونه های موجود در مجموعه آموزشی برای بروزرسانی پارامترهای شبکه استفاده می گردد. این روش بسیار خوب است زیرا موجب می گردد تابع هزینه بصورت هموار و بدون نوسانات باشد. این روش بسیار کند است و در دو مورد زیر نمی توان از این روش استفاده نمود
1) مجموعه آموزشی در حافظه جا نشود
2) یادگیری برخط که به محض ورود نمونه های آموزشی جدید بروزرسانی پارامترها انجام ی شود
در روش کاهش آماری گرادیان برای هر نمونه بروزرسانی پارامترها انجام می شود. تابع هزینه در این روش بسیار ناهموار است اما این روش بسیار سریع می باشد. برای استفاده از مزایای این دو روش و جلوگیری از معایب آنها روش کاهش گرادیان دسته کوچک بکار می رود. در این روش مجموعه آموزشی به دسته های کوچک شکسته می شود و برای هر دسته گرادیان محاسبه می گردد و پارامترها بروز می شوند.