3-4. 최종 평가지표

정량적 평가

• Mask Precision

  • 예측된 마스크 영역 중 실제 정답(ground truth)과 일치하는 부분의 비율

  • 잘못된 예측을 얼마나 적게 했는지를 측정하는 지표로, False Positive를 최소화하는 데 중점을 둠

  • IoU(Intersection over Union) 임계값을 기준으로, 그 이상인 예측을 True Positive로 판단하여 계산

• Mask Recall

  • 실제 정답(ground truth) 중 예측된 마스크와 일치하는 부분의 비율.

  • 정답을 얼마나 잘 찾아냈는지를 측정하는 지표로, False Negative를 최소화하는 데 중점을 둠

• Mask mAP50

  • IoU 임계값이 0.50일 때 평균 정밀도(Precision)를 측정한 값

  • IoU는 예측된 마스크와 정답 마스크의 겹치는 정도를 나타내며, 0.50 이상 겹치면 True Positive로 간주

  • 각 클래스별 PR(Precision-Recall) 곡선의 면적(AP)을 계산한 후, 모든 클래스의 AP를 평균

• Mask mAP50-90

  • IoU 임계값을 0.50에서 0.95까지 0.05 단위로 변화시키면서 평균 정밀도(AP)를 측정한 값의 평균

  • 더 높은 IoU에서 얼마나 잘 맞는지 측정하므로, 모델의 정확도를 더욱 엄격하게 평가하는 방식

  • 각 IoU 임계값(0.5, 0.55, 0.6, ..., 0.95)에서의 mAP를 계산하고 평균

상기 4개 지표에 관한 결과를 모두 측정하고 이를 검토하되,

전반적인 모델성능의 정량평가 기준으로 Mask mAP50를 우선하여 비교

정성적 평가

• 객체 포함성

  • Mask의 객체 경계부의 세밀한 표현보다는,

  • 단순한 형태로 묘사되더라도 타겟영역을 누락없이 포함하였는지를 중요시 판단

• 검출 일관성

  • 연속된 장면에서 일관된 성능을 보유하는지 판단

  • 유사한 유형의 객체에 대한 일관된 성능을 보유하는지 판단

• 다양성 대응력

  • 영상촬영 장소, 시기, 방식 등이 상이한 다양한 환경이나 조건에서 성능 판단

  • unseen data를 통한 테스트 실시