(실험01.) model size별 성능비교

1. Intro

실험의 목적

• 성능 향상 여부 확인

  • 모델 크기 증가에 따라 정확도, 정밀도 등의 성능이 얼마나 개선되는지 평가

• 자원 효율성 평가

  • 모델 크기에 따른 메모리 사용량, 연산 속도, 처리 시간 등 자원 소모 비교

• 비교 기준 확립

  • 모델 크기별로 성능과 자원 소모의 균형을 고려한 기준 데이터 확보

기대 효과

• 해당 task에 적정한 model size 판단 및 성능 평가

• 한정된 리소스 및 서브모듈로서의 역할범위를 고려하여 적정개발의 방향 설정

2. Setup

• YOLOv8-seg Model

  • (n)YOLO8n-seg: 261 layers, 3,263,811 parameters, 3,263,795 gradients, 12.1 GFLOPs

  • (s)YOLO8s-seg: 261 layers, 11,790,483 parameters, 11,790,467 gradients, 42.7 GFLOPs

  • (m)YOLO8m-seg: 331 layers, 27,240,227 parameters, 27,240,211 gradients, 110.4 GFLOPs

  • (l)YOLO8l-seg: 401 layers, 45,936,819 parameters, 45,936,803 gradients, 220.8 GFLOPs

3. Methodology

세부 실험방법

• 모델 사이즈를 변경해가며 결과 비교

  • n -> s -> m -> l

• 모델 사이즈 외 모든 설정은 동일하게 통제; Default 설정

  • input image 640

  • seed 24

  • epoch 100

4. Results

실험 결과 요약

• Mask Precision, Mask Recall, Mask mAP50, Mask mAP50-95를 비교

-	(Resize)	Precision	Recall	mAP 50	mAP 50-95
yolov8n-seg	640	0.866	0.926	0.919	0.860
yolov8s-seg	640	0.916	0.857	0.921	0.882
yolov8m-seg	640	0.929	0.928	0.921	0.845
yolov8l-seg	640	0.866	0.924	0.903	0.841

• 결과 시각화

  • 위에서부터 yolov8n-seg, yolov8s-seg, yolov8m-seg, yolov8l-seg의 추론결과 시각화 이미지

yolov8n-seg

yolov8s-seg

yolov8m-seg

yolov8l-seg

결과 기록

dvalab23W&B

시사점

• 모델 사이즈별로 결과값에 차이가 있으나 경미하며, YOLO8s-seg 및 YOLO8m-seg가 전반적으로 높은 성능을 보임

• 단, YOLO8s-seg(parameter 11.8M)를 기준으로 모델 파라미터를 비교할 시, YOLO8m-seg(27.2M)는 약 2.3배, YOLO8l-seg(45.9M)는 약 3.9배로 성능대비 모델 구동의 경제성은 차이가 있음