سلام دوستان. من از کولب برای اموزش مدلم استفاده میکنم. کارمم پردازش تصویره و مشکلی که دارم اینه که کولب ۸ ساعت اجازه train با gpu رو بهم میده و در اون ۸ ساعت حدود ۲۰۰ تکرار انجام میشه و نیاز به ادامه اموزش داره. من از save model برای بهترین دقت استفاده میکنم و روز بعد که میخوام دوباره بزارم ادامه کارو اگه با همون نرخ یادگیری بزارم که نتیجه خیلی بد میشه. ولی وقتی نرخ یاگیریو از 0.001 به 0.0001 کاهش میدم نتیجه خوبه و افزایش دقت دارم. دوباره بعد از دو روز که میشه ۴۰۰ تکرار هنوز نیاز به ادامه دارم ولی دیگه حتی با کاهش نرخ یادگیری هم نتیجه خوبی نمیگیرم! بنظر شما چیکار کنم بهتره؟ از adam opt استفاده میکنم بدون decay.
لازم به ذکره که بعضی وقتا مثلا ۲ هفته ی بار ی gpu پرسرعت بهم میده که در ۸ ساعت حدود ۴۰۰ تکرار میره ولی چقدر باید منتظر بمونم که شانسم بیاره gpu پرسرعت بگیرم!