3.2.2. 객체별 모델 학습
1. 실험 문제
객체별 개별 모델을 구축하여 서빙하였을 때 시간 비용을 유지하며 더 높은 성능을 달성할 수 있는지 확인한다.
2. 가설
객체별 개별 모델을 구축할 시 아래 관점에서 유리할 수 있을 것이다.
클래스간 혼동이 감소하여 탐지 성능 향상
다중 객체 학습 대비 빠른 수렴
따라서 다중 객체 탐지에 사용중인 기준모델보다 가벼운 모델을 사용하여도, 객체별 개별모델 구축시 성능이 향상될 수 있다고 예상하였다.
3. 실험 방법
3-1. 모델 학습
실험 모델: YOLOv8m 객체별 모델 구축
사전학습 없음
객체별 개별 모델을 학습 후 개별 모델 추론
추론 결과를 병합하여 다중객체 학습 결과와 동일한 포맷으로 변환
대조 모델: YOLOv8l 다중객체 모델 구축
사전학습 없음
두 객체(ship, dolphin)를 함께 학습하여 추론
3-2. 평가 방법
동일한 test 데이터에 대해 다음 메트릭을 측정하여 비교하였다.
평가 메트릭
정량: recall, precision, f1, mAP50
정성: 주요 FN & FP사례 (예: 수상스키를 돌고래로 탐지, 육지 물체 탐지)
평가 데이터
DVA_DATASET_2023
실험 결과에 첨부된 모델 명은 아래 포맷으로 명명되었음
{base_model}({training_scheme})_{학습한 데이터 '-'로 구분해 순서대로 나열}`
training_shceme
객체별 학습: separate
다중 객체 학습: single
4. 실험 결과
4-1. 정량 평가
4-1-1. Ship
요약: 개별학습에서 유의미한 성능 향상 관찰됨. (precision 99%, recall 94% 가량 달성)
돌고래 f1 상위 5개 모델 평가 테이블 - [표1]
별도 학습 & ocean 데이터 사전학습이 된 경우 전체적 지표가 우수함
ocean 사전학습이 포함되지 않은경우 개별or통합 학습 불문 성능이 낮음 → ocean 데이터의 풍부한 배 이미지가 도움을 준것으로 보임
4-1-2. Dolphin
요약: precision 상승했으나 recall 트레이드 오프가 크게 발생하여 그대로 사용하긴 어려울 것
돌고래 precision 상위 3개 모델 평가 테이블 - [표2]
별도학습한 경우 precision 85% 가량 달성하였으나 recall이 25% 전후로 하락함
돌고래 탐지가 배보다 어렵다 보니 절반 사이즈의 모델 (8m) 사용했을 때의 페널티가 큰 것으로 보임
4-2. 정성평가
정량 평가 결과가 좋지 않았던 돌고래 개별 학습 모델을 대상으로 추론 이미지를 출력해 보았다.
평가 요소
FP
제트 스키 FP가 존재하는가?
육지의 전혀 무관한 물체를 돌고래로 인식하는 경우 있는가?
해조류 및 바위를 돌고래로 인식하는가?
물거품을 돌고래로 인식하는가?
FN
흐릿하거나 어두운 이미지에서 객체를 잘 탐지하는가?
yolov8m(separate)_coco-ocean-dva23.pt
(그림3) 미니보트 FP일부 존재
(그림4) 해조류 FP있음
(그림1) 어두운 돌고래 유형 못잡음 (그림2) 흐린 돌고래 못잡음 bbox 겹치는 경우 존재 (그림5) 윤슬 돌고래 오탐
yolov8m(separate)_coco-ocean-dva24.pt
.
.
(그림1) 어두운 돌고래 유형 못잡음 bbox 겹치는 경우 존재 (그림6) 흐릿한 돌고래 못잡음
5. 결론
실험에서 확인한 다음의 내용에 따라 객체별 개별 탐지 모델 구축이 더욱 유용하다고 볼수 없다.
선박 탐지에서는 유의미한 성능 향상이 있었음
그러나 돌고래 탐지모델에서 recall 측면의 손해가 있었음
정성평가 결과에서도 다중객체 모델에 비해 FP&FN케이스가 줄었다고 보기 어려움
Last updated