4. 실험결과

최종 평가방식 선정

• (1차) 정량적 평가에 따른 모델 성능 비교 → 모델별 검토 우선순위 선정

• (2차) 해당 모델의 추론결과 이미지에 대한 정성적 평가로 최종 선정

최종 Test 결과

(1) 정량평가 결과

• Mask mAP50을 기준으로, yolov8s-seg와 yolov8m-seg이 가 0.921로 가장 우수하고, mAP50-95 기준 시 yolov8s-seg가 0.882로 높은 성능을 보임

-	(Resize)	Precision	Recall	mAP 50	mAP 50-95
yolov8n-seg	640	0.866	0.926	0.919	0.860
yolov8s-seg	640	0.916	0.857	0.921	0.882
yolov8m-seg	640	0.929	0.928	0.921	0.845
yolov8l-seg	640	0.866	0.924	0.903	0.841

(2) 정성평가 결과

[Test_00] Unseen data test

• Training 및 Validation에 사용되지 않은 별도의 영상에서 추출한 데이터 활용

  • 학습의 효용성이 검증되었으며, 범용성을 갖추었다고 판단됨

  • scene의 특성에 따라 모델별 추론 결과에 차이가 존재하나, 바다 외 영역에 검출된 FP를 제거하기 위한 본 Task에는 (s)yolov8s-seg가 더 적합하다고 판단됨

(좌) yolov8s-seg의 추론 결과 이미지, (우) yolov8m-seg의 추론 결과 이미지

[Test_01] Edge case test

• 일반적이지 않은 장면이나 극단적인 각도 및 근접거리의 이미지 데이터 활용

• 특수한 환경이나 조건에도 어느 정도의 대응력을 갖추었다고 판단

(좌) yolov8s-seg의 추론 결과 이미지, (우) yolov8m-seg의 추론 결과 이미지

[Tset_02] Edge case test

• 데이터의 기반이 된 영상이 촬영된 장소는 학습데이터의 배경과 동일하나,

• 촬영의 방식 및 카메라 움직임을 특수하게 설정한 Edge case 데이터 활용

  • 해수면 및 선박에서 극도로 가깝게 촬영; frame의 절반 이상을 선박이 차지

  • 위 장면에서 선박과의 거리를 점점 넓혀가며 촬영; 선박으로부터 zoom out

    ⇒ 어느 지점부터 바다영역을 인식하기 시작하는지 확인 가능함

(좌) yolov8s-seg의 추론 결과 이미지, (우) yolov8m-seg의 추론 결과 이미지

최종 가중치 공유

• 실험에 따라 도출된 최종 가중치 중 Best weight; Default 설정, Resize=640, epoch=100

https://drive.google.com/drive/folders/16OjKaYezD9NU9ECg_53ZqmqO267-x3-H?usp=drive_linkdrive.google.com