3.2.1. 스크래치 학습

1. 실험 문제

YOLOv8l 모델의 성능을 향상시키기 위해 Scratch 및 COCO 사전 학습 가중치를 기반으로 데이터 조합에 따른 성능 차이를 비교 분석한다.

2. 가설

1. COCO 사전 학습 가중치 + DOSH 데이터 학습: 일반적인 객체 검출 능력이 우수하지만, DVA 데이터에 대한 미세한 조정이 부족할 가능성 있다.

2. Scratch에서 DOSH 데이터 학습: 사전 학습 가중치 없이 DVA로 학습 시, 특정 데이터에 대한 과적합 가능성이 있지만 False Positive(FP)가 적을 것이다.

3. 실험 방법

3-1 데이터셋

• DVA 데이터셋: 선박, 돌고래 객체를 포함해 구축한 해양 데이터셋.

3-2 학습 모델

• YOLOv8l_DOSH

• YOLOv8l_COCO_DOSH

3-3 평가 방법

1. 정량적 평가: Recall, Precision, F1-score, AP50, AP50-95 등의 지표 비교.

2. 정성적 평가: 주요 검출 사례 분석 (FP, FN, 객체 간 혼동 등).

4. 실험 결과

4-1 정량적 평가

모델명	Recall (Ship)	Recall (Dolphin)	Precision (Ship)	Precision (Dolphin)	F1 (Ship)	F1 (Dolphin)	AP50 (Ship)	AP50 (Dolphin)	AP50-95 (Ship)	AP50-95 (Dolphin)	mAP50	mAP50-95
YOLOv8l_DOSH	0.942	0.479	0.875	0.765	0.907	0.589	0.957	0.602	0.701	0.255	0.779	0.478
YOLOv8l_COCO_DOSH	0.965	0.442	0.883	0.709	0.922	0.545	0.971	0.568	0.767	0.282	0.770	0.524

• 주요 관찰:

  • Scratch 학습 모델이 coco 사전학습 모델에 비해 돌고래에 대한 precision이 더 높음

  • 두 모델 모두 돌고래 클래스에서 AP50 및 AP50-95가 낮아 추가 개선 필요.

4-2 정성적 평가

• 스크래치부터 학습 시 더 많은 돌고래 객체를 탐지하지만 FP 발생

왼쪽부터 오른쪽: Ground Truth, YOLOv8l_DOSH, YOLOv8l_COCO_DOSH

• 객체들에 대해서 coco 사전학습 모델이 confidence 점수가 더 높음

왼쪽부터 오른쪽: Ground Truth, YOLOv8l_DOSH, YOLOv8l_COCO_DOSH

5. 결론

1. coco 사전학습 모델과 스크래치 모델은 각각의 장단점이 존재

   1. YOLOv8l_DOSH : 돌고래 객체를 더 많이 탐지하나, FP 가 더 잦게 발생

   2. YOLOv8l_COCO_DOSH : 돌고래 객체를 덜 탐지하나, confidence score가 더 높음

2. 돌고래에 대한 성능이 공통적으로 낮게 나와 우선적으로 개선 필요

다음 단계:

• 추가 데이터를 활용한 Fine-tuning.

• 객체별 모델 학습 후 성능 비교