영상 · 음성 기반 온디바이스 AI 제품의 인식 · 추론 성능을 정량 지표로 검증하는 테스트베드
대형 스크린으로 실환경(주거 · 공장 · 주차장 등)을 재현하고 카메라를 결합해 추론합니다. 정답 대비 Precision · Recall · mAP · mIoU를 자동 산출합니다.
스피커–마이크 음향 환경을 모의 시험합니다. 정답 스크립트와 대조해 WER · CER을 자동 산출하고 화자 톤 · 거리별 신뢰도를 검증합니다.
| 레벨 | 검증 내용 | 비고 |
|---|---|---|
| LEVEL 01 | 의뢰자가 개발한 AI 모델 알고리즘의 인식 · 추론 성능 검증 (검증 데이터셋 기반) | 소프트웨어 모듈 테스트 |
| LEVEL 02 | AI 모델과 입력 하드웨어(카메라 · 마이크)를 통합한 실시간 결합 추론 성능 검증 | SW / HW 통합 테스트 |
| LEVEL 03 | 구동 장치가 결합된 최종 완제품의 실사용 시나리오 기반 동작 · 성능 검증 | 완제품 테스트 |
| 적용 분야 | 핵심 성능 평가지표 | 지표 정의 및 검증 내용 |
|---|---|---|
| 공통 (영상 · 음성) | Precision / Recall | True 분류 결과 중 실제 참 비율 / 실제 참 대상 중 올바르게 참으로 인식한 비율 |
| 공통 (영상 · 음성) | Overall Accuracy / F1-Score | 전체 데이터의 전반적 분류 정확도 / 정밀도와 재현율의 조화평균 (데이터 불균형 평가) |
| 영상 / 이미지 | mAP (mean Average Precision) | 클래스별 Precision-Recall 곡선 하부 면적(AP) 평균 산출을 통한 객체 탐지 성능 평가 |
| 영상 / 이미지 | mIoU (mean Intersection Over Union) | Ground Truth와 모델 예측 바운딩 박스 영역 간 교집합/합집합 비율 평균 산출 |
| 음성 / 음향 | WER (단어 오차율) | 정답 대비 모델 인식 결과의 단어 단위 최소 삽입, 대체, 삭제 수 기반 전사 오차율 측정 |
| 음성 / 음향 | CER (문자 오차율) | 공백 포함 문자 단위의 오류율을 정밀 측정하여 발화 인식 성능 특화 평가 |
