3.2.3. 유사 도메인 데이터 보충
1. 실험 문제
모델의 성능을 향상시키기 위해 유사 도메인의 데이터를 보충하여 추가학습하며, 학습 데이터 조합에 따른 모델의 성능 차이를 비교 분석한다.
2. 실험 가설
추가 데이터를 통해 데이터 다양성이 증가하여 성능이 개선될 것이다.
3. 실험 방법
3-1. 학습 데이터셋
DOSH : 선박과 돌고래 검출을 위한 주요 데이터셋.
Extra : DVA 데이터셋을 보강하는 추가 선박 데이터셋 (약 1000장).
DVA 데이터셋 내에 돌고래와 선박의 객체 수 차이가 커서 선박 데이터를 추가로 학습
추가 데이터셋은 roboflow 오픈소스 데이터셋을 수집
[그림 1] 추가 선박 데이터
3-2. 학습 모델
YOLOv8l_DOSH : 스크래치부터 DVA 데이터셋 학습
YOLOv8l_extra_DOSH : 스크래치부터 추가 데이터, DVA 데이터셋 학습
YOLOv8l_COCO_DOSH : COCO 사전학습 후 DVA 데이터셋으로 학습된 모델
YOLOv8l_COCO_extra_DOSH : COCO 사전학습 후 추가 데이터, DVA 데이터셋 학습
3-3. 평가 방법
정량적 평가: Recall, Precision, F1-score, AP50, AP50-95 등의 지표 비교.
정성적 평가: 주요 검출 사례 분석 (FP, FN).
4. 실험 결과
4-1 정량적 평가
모델명
Recall (ship)
Recall (dolphin)
Precision (ship)
Precision (dolphin)
F1 (ship)
F1 (dolphin)
AP50 (ship)
AP50 (dolphin)
AP50-95 (ship)
AP50-95 (dolphin)
mAP50
mAP50-95
YOLOv8l_DOSH
0.942
0.479
0.875
0.765
0.907
0.589
0.957
0.602
0.701
0.255
0.779
0.478
YOLOv8l_extra_DOSH
0.988
0.503
0.962
0.736
0.975
0.598
0.987
0.599
0.821
0.287
0.793
0.554
YOLOv8l_COCO_DOSH
0.965
0.442
0.883
0.709
0.922
0.545
0.971
0.568
0.767
0.282
0.77
0.524
YOLOv8l_COCO_extra_DOSH
0.965
0.498
0.980
0.697
0.972
0.581
0.973
0.578
0.882
0.283
0.775
0.582
주요 관찰점
선박 탐지 성능
모든 모델이 선박 탐지에 있어서는 0.9 이상의 F1-score로 높은 성능을 보임
YOLOv8l_extra_DOSH의 F1 Score(0.975)와 Recall(0.988)이 가장 높음
YOLOv8l_COCO_extra_DOSH의 precision(0.980)과 AP50-95(0.882)가 가장 높음
돌고래 탐지 성능
모든 모델이 돌고래 탐지에 있어서는 낮은 성능을 보임
YOLOv8l_extra_DOSH의 F1 Score(0.598)와 Recall(0.503)이 가장 높음
4-2. 정성적 평가
육지, 육지 + 해양 의 이미지에서는 YOLOv8l_DOSH 가 가장 FP가 적었음
멀리 있는 선박을 가장 적확히 탐지한 것은 YOLOv8l_extra_DOSH
5. 결론
추가 데이터셋을 학습하는 것이 COCO 사전학습 여부와 상관없이 대부분의 metric에서 성능 향상을 보였다.
추가 데이터셋 학습은 선박 탐지에 있어 precision과 AP50-95에서 뚜렷한 향상을 보였고, 돌고래 탐지에서는 recall 과 F1 Score의 증가를 볼 수 있었으나 선박 탐지에서 만큼의 향상은 아니었다.
정량적인 수치 향상에 비해 추론한 이미지에서 뚜렷한 성능 향상을 보기는 어려웠다.
향후 작업
수상스키 레이블 추가.
객체가 없는 육지만 있는 데이터셋을 추가하여 데이터셋 업데이트
Last updated