loss میزان خطای شبکه را در هر مرحله نشان میده و loss function هم تابعی که این میزان خطا را محاسبه می کنه یکی از loss function های خیلی رایج sigmoid_cross_entropy هستش ورودی های هر loss function جواب مطلوب و همچین محتوای آخرین لایه fully connected هستش وبعد سیگمای این بردار حاصله رو میدید به Optimizer جهت کمینه کردن میزان خطای loss در مراحل بعدی اینقدر این پروسه بالا را تکرار می کنید تا خطای شبکه کم شه و به اون حد آستانه مطلوب شما برسه.
نمونه کد در تنسورفلو:
loss = tf.reduce_mean(tf.nn.softmax_cross_entropy_with_logits_v2(logits=self.output, labels=self.y))
output خروجی مدل که با داده های جاری حاصل میشه که اصطلاحاً logit اطلاق میشه و y هم در واقع جواب مطلوب یا همان label داده های شماست. مقدار loss را باید به متد minimize مربوط به optimizer پاس بدید جهت اصلاح های وزن ها و بایاس ها مدل.