모델평가_ROC와 AUC 개념

1. ROC 커브

 

ROC 커브란 FPR이 변할 때 TPR의 변화를 그린 그림입니다. FPR은 Fall-out, TPR은 Recall(sensitivity) 입니다. Fall-out이 변할 때 sensitivity가 어떻게 변하냐를 관찰한 커브인데요.

1) 직선

랜덤하게 때려맞춘 모델로, 아무 의미가 없다는 뜻입니다.

2) Good 

직선보다 위에 있으면 좋은 모델로 보고 완벽하게 ㄱ으로 꺾여있다면 100%의 모델을 나타냅니다.

Threshold 기준으로 그래프를 그려보면, negative라고 맞추고 positive라고 맞춘 경계선이 명확하다면 ROC 곡선에서 100% 다 맞춘 모델이 됩니다. 이 때 AUC를 1이라고 합니다. AUC는 ROC의 면적을 나타냅니다.

 

AUC가 0.7정도인 경우는 위와 같습니다.

3) Bad 

분류 성능이 나쁜 경우 AUC=0.5가 됩니다. t

 

그렇다면 이제 적용을 해봐야겠죠?

지난 시간에 한 0과 1 맞추기에서의 ROC 곡선은 어떻게 나오는지 한번 살펴보겠습니다.

2. ROC 예제

 

해당 데이터에 대해 Recall과 Fall-out을 따로 보고 이를 그래프로 그려 ROC 곡선을 확인했고,

대충 때려맞춰도 0.5의 AUC는 나옵니다. AUC는 무조건 0.5보다 크거나 같아야합니다.