수백만 화소의 초기 스마트폰부터 오늘날의 DSLR 카메라와 수천만 화소, 심지어 1억 화소가 넘는 스마트폰에 이르기까지 완벽한 이미지 품질에 대한 끊임없는 추구는 이미징 장치의 반복적인 발전을 주도했습니다. 결국, 놀라운 5억 7,600만 픽셀의 해상도를 가진 우리 자신의 눈 앞에서는 모든 것이 여전히 덜 현실적으로 보입니다.
카메라의 개발은 항상 ISP(이미지 신호 프로세서) 기술의 지원에 의존해 왔습니다. 기존 ISP 기술의 경우 야경과 HDR(High Dynamic Range) 장면을 캡처하는 것이 특히 어려웠습니다. 역동적인 야경에서 노이즈, 모션 블러, 과다 노출, 저조도 정보 손실과 같은 문제는 증가하는 이미지 녹화 수요를 충족하지 못할 뿐만 아니라 비디오 감시 및 교통 관리와 같은 산업의 발전을 방해합니다.
그러나 기술은 계속해서 장벽을 허물고 항상 우리의 상상을 뛰어넘습니다. 사람들은 여전히 기존 ISP의 결함에 대해 비판적이지만, AI의 급속한 발전은 우리에게 더 많은 가능성을 제공합니다. AI-ISP 기술의 출현으로 극도로 저조도 조건에서도 고화질 풀 컬러 이미징이 가능해졌습니다. 카메라는 "보는 것"에서 "명확하게 보는 것"으로 전환하고 있으며 심지어 캡처한 장면을 "이해"하는 것으로 전환하고 있습니다.
"진정한 블랙라이트"의 시대가 공식적으로 도래했습니다.
지능형 IoT를 강화하는 "True Blacklight"
"트루 블랙라이트"에 대해 이야기해 봅시다. 다양한 야간 투시 효과에 따라 카메라는 저조도, 별빛, 슈퍼 별빛, 블랙라이트 등 다양한 이름으로 구별할 수 있습니다. 이러한 용어에는 통일된 표준이 없지만 카메라가 저조도 조건에서 풀 컬러 이미징을 유지할 수 있는지 여부에 중점을 둡니다. 일반적으로 "블랙라이트 레벨"은 카메라가 0.01lux 이하에서 작동할 수 있음을 의미합니다.
전통적으로 블랙라이트 효과를 얻으려면 대형 센서, 픽셀 크기가 더 큰 저해상도 센서를 사용하거나, 조리개 크기를 늘리거나, 비디오 프레임 속도를 줄여 야간에 더 많은 빛과 색상 정보를 캡처해야 했습니다. 그러나 이러한 방법은 종종 채도가 100% 미만이고 모션 아티팩트가 발생하며 더 큰 센서와 조리개로 인해 비용이 증가하여 업계 요구 사항을 완전히 충족할 수 없었습니다.
즉, 극도로 어두운 환경에서는 "케이크를 먹고 먹을 수 없다"는 것입니다.
그럼에도 불구하고 진정한 블랙라이트 풀 컬러 이미징을 현실로 가져오는 AI-ISP 기술이 적용된 솔루션이 있습니다. AI-ISP가 탑재된 카메라는 백색광이나 적외선 조명 없이도 0.01Lux 미만의 실시간 색상 복원을 달성할 수 있습니다. 채도는 100% 이상으로 유지되며 움직이는 물체는 심각한 후행, 고스팅 또는 원근 문제 없이 나타납니다. 전문가에 따르면 다음 6가지 핵심 요소를 충족해야만 "True Blacklight"라고 불릴 수 있으며 사용자가 극도로 어두운 시나리오에서 더 나은 비디오 성능을 달성하는 데 진정으로 도움이 될 수 있습니다.
"True Blacklight"의 획기적인 발전 덕분에 스마트 시티와 지능형 IoT는 응용 시나리오를 확장했습니다. 교차로, 산, 연못, 농지와 같은 극도로 어두운 환경에서는 이미지 품질을 저하시키지 않고도 비디오 밝기를 향상시킬 수 있어 카메라가 잘 구조화되고 정확하게 색상 복원된 컬러 비디오를 캡처할 수 있습니다. 또한 이 기술은 전체 장면 비디오 효과를 달성하여 연못이나 농지와 같이 보조 조명이 불가능한 장소에서 보다 정확한 지능형 분석을 제공합니다.
AI 기반 키 모듈, 엣지 최적화 - AI-ISP 성능 극대화
ISP는 이미지 신호 프로세서(Image Signal Processor)의 약자로, 이미지 센서의 신호를 인간과 기계가 인식할 수 있는 정보로 변환하는 역할을 합니다. 이미지 품질에 중요한 역할을 합니다. 인간의 비유에서 ISP는 이미징 시스템의 두뇌와 같은 기능을 하여 렌즈 센서에서 수집된 이미지를 처리, 향상 및 개선하여 실제 또는 더 나은 이미징 품질을 제공합니다.
기존 ISP는 CIS 센서에서 출력된 원시 데이터를 가져와 특정 파이프라인 시퀀스에 따라 사람이 읽을 수 있는 YUV 데이터로 변환합니다. 기존 ISP의 이미지 처리는 수학적 모델링과 이미지에 대한 인간의 순진한 이해에 의존합니다. 이와 대조적으로 최근의 기술 개념인 AI-ISP는 기존 ISP 파이프라인을 기반으로 구축되었지만 AI 신경망을 사용하여 한계를 극복합니다. AI-ISP는 더 풍부한 매개변수로 인간의 두뇌를 시뮬레이션하고 더 복잡한 모델을 구축함으로써 기존 ISP의 한계를 뛰어넘어 우수한 이미지 품질을 달성합니다.
현재 AI-ISP는 AI 훈련을 통해 지속적으로 성능을 향상시켜 ISP 파이프라인의 4가지 핵심 모듈인 HDR, 3DNR, RLTM, Demosaic을 강화하고 있습니다. AI-ISP의 이러한 획기적인 발전은 기존 ISP 이미징의 한계를 깨뜨립니다.
핵심 모듈에 AI 권한을 부여하기로 선택한 이유는 엣지 측 컴퓨팅 성능이 제한되는 경우가 많기 때문입니다. 전력 소비와 비용에 대한 우려를 안고 실질적인 배포를 고려하면 AI 처리를 파이프라인 전체에 적용하는 것은 불가능합니다. AI-ISP는 본질적으로 AI를 가장 중요하고 시각적으로 식별할 수 있는 기능에 집중하고 최적의 AI-ISP 성능을 위해 제한된 컴퓨팅 성능을 최대한 활용하기 때문에 진정한 제품화에 더 가깝습니다.
따라서 실제 응용 분야에서 AI-ISP는 시각적 모델을 반복하여 성능을 향상시켜 이미지 품질 측면에서 신속한 칩 제품 업그레이드를 촉진할 수 있습니다. 이는 단일 칩이 다양한 시나리오와 시장을 포괄할 수 있어 전체 AI 애플리케이션 비용을 절감하고 생산성을 크게 향상시킬 수 있음을 의미합니다.
현재 우리는 HDR, 3DNR, RLTM 및 Demosaic과 관련된 AI 알고리즘을 지속적으로 최적화하고 반복할 뿐만 아니라 기존 ISP 파이프라인에서 다른 모듈의 AI 역량 강화도 모색하고 있습니다. 또한 AI-ISP의 높은 컴퓨팅 성능 요구 사항을 충족하기 위해 혼합 정밀도 NPU도 독자적으로 개발하여 AI 개발 및 구현의 효율성을 더욱 가속화했습니다.
AI-ISP와 '트루 블랙라이트'의 관계에 대해 전문가들은 0.01럭스 블랙라이트 시대에는 단순히 렌즈와 센서를 개선하는 것만으로는 근본적인 문제를 해결할 수 없다고 지적한다. 기존 ISP는 블랙라이트에 대한 기술 발전 요구를 충족할 수 없어 프레임 속도 감소 및 보조 조명 증가와 같은 다양한 오해의 소지가 있는 접근 방식으로 이어집니다. 그들은 자격을 갖춘 트루 블랙 라이트 풀 컬러 카메라가 0.01lux 시나리오에서 보조 조명 없이 실시간(25-30) fps 성능을 보장하고, 움직이는 물체를 정확하게 구별하고, 색상을 충실하게 재현해야 한다고 믿습니다. 이것이 바로 AI-ISP의 독특한 장점입니다.
실제로 AI-ISP가 공식적으로 시장에 진입한 것은 2020년이었고, 이는 "트루 블랙 라이트 풀 컬러 카메라"라는 새로운 카테고리의 급속한 발전으로 이어졌습니다.
보시다시피, 저조도, 고역동성, 빛공해와 같은 극한 시나리오에서 더 높은 이미징 품질에 대한 요구가 증가함에 따라 AI-ISP는 인공 지능 시각 이미징 분야에서 점점 더 중요해지고 있습니다. AI-ISP는 저조도 및 고역동성과 관련된 업계의 핵심 문제점을 혁신적으로 해결함으로써 True Black Light Full-Color Camera와 같은 새로운 제품 카테고리를 만들어 사람들에게 새로운 시각적 가능성을 열어주었습니다. 미래에는 우리를 이미징의 새로운 시대로 이끌 수도 있습니다.