مومنتوم یک تکنیک است که با اضافه کردن یک قسمتی از آپدیت قبلی به آپدیت فعلی، به شتاب دادن همگرایی نزولی گرادیان تصادفی (SGD) کمک می‌کند. این کار می‌تواند به جلوگیری از گیر کردن مدل در مینیمم های محلی کمک کند. مقدار پیش‌فرض برای مومنتوم معمولاً برابر با ۰٫۹ است، که به معنای این است که ۹۰٪ آپدیت قبلی به آپدیت فعلی اضافه می‌شود.