precision و recall در یادگیری ماشین

Question

سلام.

تو بحث ارزیابی کارایی کلاسیفایر ها یکی از مباحث مطرح percision و recall چی هست و بفرمائید چطور باید این مقادیر را پس از اتمام مرحله آموزش محاسبه کنیم؟

Answer 1

precision  و recall دو معیار مهمی هستند که برای ارزیابی عملکرد طبقه‌بندی‌کننده‌ها استفاده می‌شوند.

precision  ، نسبت پیش‌بینی‌های مثبت واقعی (نمونه‌های مثبت طبقه‌بندی‌شده صحیح) را در بین تمام پیش‌بینی‌های مثبت انجام‌شده توسط طبقه‌بندی‌کننده اندازه‌گیری می‌کند. به صورت (True Positive) / (True Positive + False Positive) محاسبه می شود.

recall که به عنوان حساسیت یا نرخ مثبت واقعی نیز شناخته می‌شود، نسبت پیش‌بینی‌های مثبت واقعی را در بین تمام نمونه‌های مثبت واقعی در مجموعه داده اندازه‌گیری می‌کند. به صورت (True Positive) / (True Positive + False Negative) محاسبه می شود.

 

هنگام ارزیابی عملکرد طبقه‌بندی‌کننده، مهم است که هم precision  و هم recall را در نظر بگیریم، زیرا اطلاعات تکمیلی در مورد عملکرد طبقه‌بندی کننده ارائه می‌دهند. precision  بالا به این معنی است که طبقه بندی کننده در جلوگیری از مثبت کاذب خوب است، در حالی که recall بالا به این معنی است که طبقه بندی کننده در تشخیص تمام نمونه های مثبت واقعی خوب است.

 

برای محاسبه precision  و recall پس از اتمام مرحله آموزش، می توانید از ماتریس سردرگمی استفاده کنید. ماتریس سردرگمی جدولی است که عملکرد یک طبقه‌بندی کننده را با مقایسه برچسب‌های کلاس پیش‌بینی‌شده با برچسب‌های کلاس واقعی خلاصه می‌کند. ماتریس سردرگمی حاوی اطلاعاتی در مورد مثبت واقعی، منفی درست، مثبت کاذب و منفی کاذب است.

 

هنگامی که ماتریس سردرگمی را دارید، می توانید با استفاده از فرمول های ذکر شده در بالا، precision   و recall را محاسبه کنید.

 

به عنوان مثال، فرض کنید شما یک طبقه بندی کننده باینری دارید و ماتریس سردرگمی به صورت زیر است:

 

 

Actual positive	Actual negative
Predicted positive	True Positive (TP)	False Positive (FP)
Predicted negative	False Negative (FN)	True Negative (TN)

 

 

Answer 2

Precision = TP / (TP + FP)

Recall = TP / (TP + FN)

امتیاز F1 معیار مهم دیگری است که معمولاً برای ارزیابی عملکرد طبقه‌بندی‌کننده‌ها استفاده می‌شود. این میانگین هارمونیک precision  و recall است و تعادل بین این دو را فراهم می کند. یک امتیاز F1 بالا نشان می‌دهد که طبقه‌بندی‌کننده هم precision  بالا و هم recall بالایی دارد، در حالی که امتیاز F1 پایین نشان می‌دهد که طبقه‌بندی‌کننده مقادیر پایینی برای دقت یا یادآوری یا هر دو دارد.

فرمول امتیاز F1 به صورت زیر است:
 

F1 = 2 * (Precision * Recall) / (Precision + Recall)

در عمل، استفاده از امتیاز F1 به عنوان معیار عملکرد زمانی که کلاس‌ها نامتعادل هستند (تعداد نامساوی نمونه برای کلاس‌های مختلف) معمول است زیرا امتیاز F1 هم دقت و هم یادآوری را در نظر می‌گیرد.