Model Evaluation

• Confusion matrix
• 
• Accuracy
• (TP +TN) / (TP+TN+FP+fN)
• Limitation
• 특정 class가 대다수의 비중을 차지할 때, 모든 prediction을 그 class로 한다면, accuracy가 높은 결과를 얻을 수 있음. 엄청 무의미함.
• Sensitivity (true positive rate)
• TPR = TP / P = TP / (TP+FN) 
• Specificity (true negative rate)
• spc = TN / N = TN / (TN +FP)
• Precision
• classifier가 positive라고 prediction한 것 중에 실제로 positive한 확률.
• Precision = TP / (TP+FP)
• Exactness
• Recall
• 실제 positive 값 중에 classifier가 positive하다고 prediction한 확률
• recall = TP / (TP+FN)
• Completeness
• F measure (F-score)
• precision과 recall의 조합
• F measure = (2*precision*recall) / (precision+recall)
• ROC (Receiver Operating Characteristics) Curves
• true positive rate(sensitivity) vs. false positive rate (1-specificity)
• ROC curve의 아래 면적은 모델의 accuracy를 나타냄.
• 1 -> 완벽한 모델
• 0.5 -> 무작위 추측이랑 같은 수준. 
•