3.1. 베이스 모델 선정
1. 실험 문제
YOLO 기반 객체 탐지 모델 중 돌고래와 선박 객체를 대상으로 가장 적합한 기반 탐지 모델을 선정하는 것.
2. 가설
실험을 통해 비교되는 모델들 간 성능 차이를 분석하여 적합한 기반 모델을 선정한다.
3. 실험 방법
3-1. 학습 파라미터
이미지 크기: 1440 (모델 입력 이미지 크기 및 학습 이미지 크기 일치)
학습 데이터셋의 이미지 사이즈, 모델 입력 시의 이미지 사이즈를 모두 포괄(입력 시 리사이징 없음)
1920을 기본값으로 고정하려 했으나 학습 속도가 느려 1440으로 변
학습 횟수(Epoch): 200
배치 크기: 4 (GPU 메모리 최적화 설정)
나머지 파라미터는 기본값 사용 (Ultralytics 기본 설정)
3-2. 비교 대상 모델
YOLOv8m
YOLOv8l
YOLOv9c
YOLOv9c + VisDrone Pretrained
3-3. 평가 방법
3-3-1. 정량 평가
Validation 및 Test Set 평가:
mAP50, mAP50-95, Precision, Recall 등 성능 지표
모델 속도 및 복잡도: Parameters, GFLOPs, Inference Speed (ms)
3-3-2. 정성 평가
목적: 모델이 2023년 학습 데이터로 2024년 데이터에 대해 일반화할 수 있는지 질적 평가.
데이터: 특정 객체를 포함하거나 포함하지 않는 이미지 110장 (돌고래, 선박, 비객체 이미지 분류)
평가 항목: FP, FN 발생 빈도와 영향도
4. 실험 결과
4-1. 정량 평가 결과
모델
mAP50
mAP50-95
Precision
Recall
Parameters
GFLOPs
추론 속도(ms)
YOLOv9c + VisDrone
0.853
0.651
0.878
0.779
25,530,774
103.687
25.85
YOLOv8l
0.852
0.607
0.889
0.793
43,631,382
165.407
25.22
YOLOv9c
0.839
0.626
0.846
0.813
25,530,774
103.687
25.68
YOLOv8m
0.808
0.589
0.861
0.763
25,857,478
79.069
15.98
YOLOv8l은 YOLOv9c 기반 모델 대비 약간 낮은 mAP50-95 점수에도 불구하고, 가장 높은 Precision과 Recall을 기록.
YOLOv8m은 속도가 가장 빠르지만 정확도는 비교적 낮음.
YOLOv9c + VisDrone은 높은 mAP50과 낮은 FN을 보였으나, 오탐(FP) 문제 빈번.
4-2. 정성 평가 결과
YOLOv8l
돌고래와 선박 객체를 가장 안정적으로 탐지.
높은 Precision에도 불구하고 일부 False Negative (FN) 발생.
객체별 라벨 중복 문제 및 새로운 데이터(낯선 이미지)에 대한 추론 불안정성 있음.
YOLOv8m
돌고래와 선박 탐지에 취약하며 False Positive(FP) 비율 높음.
낮은 정확도를 감수할 수 있는 빠른 추론 속도가 장점.
YOLOv9c
낮은 FN 및 비교적 안정적인 탐지 성능을 보임.
다만, 객체 라벨 중복 및 FP 문제는 해결이 필요.
YOLOv9c + VisDrone
높은 mAP50에도 불구하고 다양한 시나리오에서 FP 비율이 가장 높음.
새로운 데이터(2024 수집 데이터)에서 과도한 일반화 문제 발생.
5. 결론
YOLOv8l 모델을 기반 탐지 모델로 선정한다.
선정 이유
정량적 측면: 높은 Precision과 Recall, 적절한 mAP 점수.
정성적 측면: 다양한 데이터 조건에서 안정적인 탐지 성능.
실무적 고려: 빠른 추론 속도(25.22ms)와 적절한 GFLOPs로 효율적 사용 가능.
개선 사항
라벨 중복 문제를 해결하기 위한 Non-Maximum Suppression(NMS) 최적화.
외부 데이터를 통한 클래스 세분화 및 보강 학습.
Last updated