3.3 알고리즘 광량 측정 평가

평가 목적

• 영상 내 빛의 분포도는 정성평가에 의해 의존하였으며 정량적인 수치와 함께 AI 인식률에 미치는 영향을 판단하기에는 어려움이 있음

• 이에, AI 인식률이 저하되는것을 사용자에게 안내해주는 기능과 빛 반사 제거를 적용하였을때의 광량이 감소되었는지를 정량적으로 평가 하고자 함

접근 방식

• 영상내 밝기는 HSV 밝기 값을 기준으로 히스토그램에서 200이상의 흰색 영역의 분포를 측정하고자 함

• 이때 사용자에게노티또한고려해야하기때문에영상내 모든 Frame을 탐지하기에는 많은 시간이 소요됨

• 따라서, 영상내 일정 개수 Frame을 추출하여 밝기 값의 분포를 확인하였음

실험 절차

• 정성적으로 광량이 많은 영상과 적은 영상들을 기준으로 2가지 알고리즘을 통해 정량적 평가와 정성적 평가를 동시에 진행함

• 위 평가를 통해 AI 모델에서 빛 반사가 많은 영상에 대해 성능 저하가 있는지 평가를 진행함

Code

import cv2
import numpy as np

def light_acclerate(img_array):
    img_array = cv2.cvtColor(img_array,cv2._COLOR_BGR2HSV)
    hist = cv2.calcHist([img_array], [2], None, [256], [0,256])
    total_pixels = img_array.shape[0] * img_array.shape[1]
    high_brightness_pixels = np.sum(hist[200:])
    percentage = round((high_brightness_pixels / total_pixels) * 100)
    return perentage

정량적 테스트

영상 제목	HSV 밝기값	히스토그램에서 200 이상 흰색 영역 값
DJI_0001.MP4	144.56	51.36
DJI_0002.MP4	174.22	354.52
DJI_0003.MP4	158.68	171.12
DJI_0004.MP4	155.56	92.98
DJI_0005.MP4	137.83	182.15
DJI_0006.MP4	127.78	3.10
DJI_0007.MP4	151.35	22.47
DJI_0008.MP4	159.42	18.86
DJI_0010.MP4	190.77	670.98
2023-08-03 114318-114819.MP4	201.01	721.23
'2023-08-03 115320-115441.MP4’	211.48	963.25

정성적 테스트

평가 결과

• 실험 평가를 통해 히스토그램 기반의 흰색 영역의면적을 추출하는 것이 정량적, 정성적 평가가 동일한 영상들이 출력되는것을 확인하였음

• 또한, 밝은 영상과 어두운 영상간의 편차로 임계값을 통해 명확한 선정이 가능하여 선정 알고리즘은 히스토그램 기반으로 선정하였음

2차 평가

• 목적

  • 해당 알고리즘을 통해 광량이 많은 영상을 추출하고 AI 모델의 성능저하에 영향을 미치는지 평가를 진행함

• 실험 결과

  • 성능 평가 결과 : 빛 반사가 강한 영상에서 평균보다 높은 정확도가 나옴

  • 추측되는 내용으로 데이터셋 바이어스 때문으로 판단되고, 빛 반사가 강한 이미지에 객체가 '배' 밖에 없고 쉬운 케이스의 이미지들이 대부분으로 구성된게 원인으로 판단 됨

  • test_set	recall(ship)	recall(dolphin)	recall(jetski)	precision(ship)	precision(dolphin)	precision(jetski)	f1(ship)	f1(dolphin)	f1(jetski)	AP50(ship)	AP50(dolphin)	AP50(jetski)	AP50-95(ship)	AP50-95(dolphin)	AP50-95(jetski)	mAP50	mAP50-95
    high_brightness	1			1			1			0.995			0.9			0.995	0.9
    low_brightness	0.92	0.87	1	0.966	0.465	1	0.942	0.606	1	0.955	0.617	0.995	0.865	0.412	0.823	0.856	0.7

• 결론

  • 실험 결과 밝은 영상의 경우 AI 모델의 성능이 하락되지는 않았으나 쉬운 케이스의 테스트셋이 많았던 부분이 주요 원인으로 보임

  • 향후 영상 이미지의 특수성에 관계없이 알고리즘의 범용적인 성능을 보장하기 위해서 후속 연구의 필요성과 Edge case에 대한 추가 테스트가 요구됨

  • 또한, Edge Case(안개, 비, 흐림)등에 대해서 프로젝트 내에서는 고려되지 않았지만 향후 프로젝트가 지속된다면 필요하다고 판단됨