从早期只有几百万像素的智能手机到如今拥有数千万甚至过亿像素的数码单反相机和智能手机,对完美图像质量的不懈追求推动着成像设备的不断进步。毕竟,在我们拥有 5.76 亿像素惊人分辨率的双眼面前,一切都显得不那么真实。
相机的发展一直依赖于 ISP(图像信号处理器)技术的支持。对于传统的 ISP 技术而言,拍摄夜景和高动态范围 (HDR) 场景尤其具有挑战性。动态夜景中的噪点、运动模糊、曝光过度和低照度信息丢失等问题不仅无法满足日益增长的图像记录需求,而且还阻碍了视频监控和交通管理等行业的发展。
然而,技术仍在不断突破障碍,总是超越我们的想象。当人们还在批判传统 ISP 的缺陷时,人工智能的飞速发展为我们提供了更多的可能性。AI-ISP 技术的出现,让极低光照条件下的高清全彩成像成为可能。摄像机正在从 "看见 "过渡到 "看清",甚至 "理解 "所拍摄的场景。
真正的黑光"时代正式来临。
"True Blacklight, " 赋能智能物联网
让我们来谈谈"真正的黑光。根据不同的夜视效果,摄像机有不同的名称,如微光、星光、超星光和黑光。这些名称并没有统一的标准,但重点在于摄像机能否在弱光条件下保持全彩成像。
传统上,实现黑光效果需要使用大尺寸传感器、像素尺寸更大的低分辨率传感器、增大光圈尺寸或降低视频帧频,以便在夜间捕捉更多光线和色彩信息。然而,这些方法通常会导致色彩饱和度低于 100% 、运动伪影以及因传感器和光圈增大而导致成本增加,无法完全满足行业需求。
换句话说,在极暗的环境中,您无法既得到蛋糕又吃掉它。配备 AI-ISP 技术的摄像机可在低于 0.01Lux 的条件下实现实时色彩还原,而无需白光或红外照明。色彩饱和度保持在 100%或以上,移动物体不会出现明显的拖尾、重影或透视问题。据专家介绍,只有满足以下六个关键要素,才能被称为"真正的黑光",才能真正帮助用户在极暗场景中实现更好的视频性能。

由于"真正的黑光"的突破,智慧城市和智能物联网扩展了其应用场景。在十字路口、山区、池塘和农田等极暗环境中,可在不影响图像质量的情况下增强视频亮度,从而使摄像机能够捕捉到结构合理、色彩还原准确的彩色视频。此外,该技术还能实现全场景视频效果,在池塘和农田等无法使用辅助照明的地方提供更精确的智能分析。
AI 驱动关键模块,边缘优化 - 最大化 AI-ISP 性能
ISP 是图像信号处理器(Image Signal Processor)的缩写,负责将图像传感器的信号转换为人类和机器可识别的信息。它对图像质量起着至关重要的作用。打个比方,ISP 的功能就像成像系统的大脑,它可以处理、增强和改进从镜头传感器收集到的图像,从而提供真实甚至更好的成像质量。jpg" title="ISP.jpg" alt="ISP.jpg" width="983" height="353" border="0" vspace="0" style="width: 983px; height: 353px;"/>
传统 ISP 采用 CIS 传感器输出的原始数据,并按照特定的流水线顺序将其转换为人类可读的 YUV 数据。传统 ISP 中的图像处理依赖于数学建模和人类对图像的天真理解。相比之下,AI-ISP 是一种最新的技术概念,它建立在传统 ISP 流水线的基础上,但利用人工智能神经网络克服了其局限性。通过使用更丰富的参数模拟人脑并建立更复杂的模型,AI-ISP 超越了传统 ISP 的上限,实现了卓越的图像质量。
目前,AI-ISP 通过人工智能训练不断增强 ISP 管道中的四个关键模块--HDR、3DNR、RLTM 和 Demosaic 的性能,从而增强了它们的功能。

之所以选择对关键模块进行 AI 赋能,是因为边缘计算能力通常有限。考虑到实际部署中的功耗和成本问题,将人工智能处理应用于整个流水线是不可行的。从本质上讲,AI-ISP 更接近于真正的产品化,因为它将人工智能集中在最关键和视觉上最易辨别的功能上,充分利用有限的计算能力来实现最佳的 AI-ISP 性能。
因此,在实际应用中,AI-ISP 可以通过迭代视觉模型来提高性能,从而促进芯片产品在图像质量方面的快速升级。
目前,我们不仅在继续优化和迭代与 HDR、3DNR、RLTM 和 Demosaic 相关的人工智能算法,还在探索对传统 ISP 管线中的其他模块进行人工智能赋能。
关于AI-ISP与 "真黑光 "的关系,专家指出,在0.01勒克斯黑光时代,单纯改进镜头和传感器并不能解决根本问题。传统的互联网服务提供商无法满足黑光技术进步的要求,从而导致各种误导性的做法,如降低帧频和增加辅助照明。他们认为,合格的真正黑光全彩摄像机应确保在 0.01 勒克斯场景下无需辅助照明即可实现实时(25-30)帧/秒的性能,准确分辨移动物体并忠实再现色彩。这正是 AI-ISP 的独特优势。
事实上,AI-ISP 正是在 2020 年正式进入市场,从而带动了 "真黑光全彩摄像机 "这一全新品类的快速发展。
我们可以看到,随着人们对低照度、高动态、光污染等极端场景下的成像质量要求越来越高,AI-ISP 在人工智能视觉成像领域的重要性日益凸显。AI-ISP创新性地解决了低照度、高动态等行业核心痛点,开创了 "真黑光全彩相机 "等新产品类别,为人们的视觉生活带来了新的可能。未来,它甚至可能引领我们进入一个全新的成像时代。
