(실험03.) 그 외 data augmentation 변경

1. Intro

실험의 목적

• 모델 초기 설정값에 대한 적정성 판단

  • 공식적으로 게재된 모델 정보에는 기본적으로 설정된 데이터 증강 기법이 존재함

  • 이 설정의 효과를 확인하고, 적정성을 판단이 요구됨

  • 초기 설정값(Default)을 변경하였을 때 성능 차이를 확인

  • 데이터 증강기법 설정에 따른 모델의 정확도, 정밀도 등 성능변화 확인

• 모델 범용성 향상

  • 데이터 증강기법 변경을 통해 모델이 다양한 입력에 대응이 용이한 설정 파악

• 효율적인 증강 기법 탐색

  • 성능 향상에 기여하는 데이터 증강 기법을 선별하고, 모델에 최적화된 설정 찾기

기대 효과

• 해당 task에 적정한 데이터 증강기법 판단 및 성능 평가

• 초기 설정값에 대한 적정성을 판단하여 적용변경 여부를 판단

2. Setup

• Main Augmentation Settings

  • scale

  • mosaic

3. Methodology

세부 실험방법

• 파라미터 설정

  • 공식 홈에서 공유한 Default 설정 상에는 Scale=0.5, Mosaic=1.0가 기본값으로 적용되어 있음

  • 이 부분을 달리 적용하여 실험

실험 절차

• (Default) Scale=0.5, Mosaic=1.0

• Scale=0으로 변경, 그 외 값은 Default로 통제; Scale 인자의 설정 유효성 확인

• Mosaic=0으로 변경, 그 외 값은 Default로 통제; Mosaic 인자의 설정 유효성 확인

• Scale=0, Mosaic=0으로 변경, 그 외 값은 Default로 통제; 해당 인자 간 상호 연계성 확인

4. Results

실험 결과 요약

• Augmentation Settings & Results | Mask 기준

	(Resize)	Precision	Recall	mAP 50	mAP 50-95
Default (Scale=0.5, Mosaic=1.0)	640	0.916	0.857	0.921	0.882
Scale = 0	640	1	0.853	0.932	0.853
Mosaic = 0	640	1	0.782	0.859	0.794
Scale = 0, Mosaic = 0	640	1	0.857	0.928	0.788

결과 시각화

• 위에서 부터 Default(Scale=0.5, Mosaic=1.0), Scale=0, Mosaic=0, Scale=0 & Mosaic=0

Default(Scale=0.5, Mosaic=1.0)

Scale=0

Mosaic=0

Scale=0 & Mosaic=0

결과 기록

dvalab23W&B

시사점

• 정량평가 상으로는 Default 설정에 비해 Scale=0으로 설정 시 경미하게 성능이 개선되는 측면이 있었음

  • Precison, mAP50은 소폭 상승

  • 반면, Recall, mAP50-95는 소폭 하락

• 그러나 추론한 결과 이미지에 대한 정성적인 측면에서는 기본 설정값인 Default(Scale=0.5, Mosaic=1.0)가 확인히 좋은 성능을 보이는 경우가 존재함

  • 장면의 특성에 따라 더 나은 성능을 보이는 설정에 다소 차이가 존재할 수 있으나,

  • 보다 보편적이고 안정적인 추론에는 Default가 나은 대안으로 보여짐