Desde los primeros días de los teléfonos inteligentes con unos pocos millones de píxeles hasta las cámaras DSLR y los teléfonos inteligentes actuales con decenas de millones o incluso más de cien millones de píxeles, la búsqueda incesante de una calidad de imagen perfecta ha impulsado los avances iterativos en los dispositivos de imagen. Después de todo, frente a nuestros propios ojos, con sus asombrosos 576 millones de píxeles de resolución, todo parece aún menos real.
El desarrollo de cámaras siempre se ha basado en el soporte de la tecnología ISP (Image Signal Processor). Para la tecnología ISP tradicional, capturar escenas nocturnas y escenas de alto rango dinámico (HDR) ha sido particularmente desafiante. Problemas como el ruido, el desenfoque de movimiento, la sobreexposición y la pérdida de información con poca luz en escenas nocturnas dinámicas no solo no satisfacen la creciente demanda de grabación de imágenes, sino que también obstaculizan el progreso de industrias como la videovigilancia y la gestión del tráfico.
Sin embargo, la tecnología continúa rompiendo barreras, siempre superando nuestra imaginación. Si bien las personas todavía critican las fallas de los ISP tradicionales, el rápido progreso de la IA nos ofrece más posibilidades. La aparición de la tecnología AI-ISP hace posible la obtención de imágenes a todo color de alta definición en condiciones de muy poca luz. Las cámaras están pasando de "ver" a "ver con claridad" e incluso "entender" las escenas que capturan.
La era de la "luz negra verdadera" está oficialmente sobre nosotros.
"True Blacklight", potenciando el IoT inteligente
Hablemos de "True Blacklight". Basándose en diferentes efectos de visión nocturna, las cámaras pueden distinguirse por varios nombres, como luz baja, luz de las estrellas, luz de las superestrellas y luz negra. Estos términos no tienen un estándar unificado, pero la atención se centra en si la cámara puede mantener imágenes a todo color en condiciones de poca luz. Generalmente, "nivel de luz negra" significa que la cámara puede funcionar a 0.01lux o menos.
Tradicionalmente, lograr efectos de luz negra implicaba el uso de sensores de gran formato, sensores de baja resolución con tamaños de píxeles más grandes, aumentar el tamaño de apertura o reducir las velocidades de fotogramas de video para capturar más información de luz y color por la noche. Sin embargo, estos métodos a menudo resultaban en una saturación de color inferior al 100%, artefactos de movimiento y mayores costos debido a sensores y aperturas más grandes, que no podían satisfacer completamente las demandas de la industria.
En otras palabras, "no puedes tener tu pastel y comértelo también" en ambientes extremadamente oscuros.
Sin embargo, existe una solución con tecnología AI-ISP que hace realidad las imágenes a todo color con luz negra real. Las cámaras equipadas con AI-ISP pueden lograr la restauración del color en tiempo real a menos de 0,01 Lux sin necesidad de luz blanca o iluminación infrarroja. La saturación de color permanece en o por encima del 100% y los objetos en movimiento aparecen sin problemas significativos de seguimiento, imágenes fantasma o perspectiva. Según los expertos, solo al cumplir con los siguientes seis elementos clave se puede llamar "True Blacklight" y realmente ayudar a los usuarios a lograr un mejor rendimiento de video en escenarios extremadamente oscuros.
Gracias al avance de "True Blacklight", las ciudades inteligentes y el IoT inteligente han ampliado sus escenarios de aplicación. En entornos extremadamente oscuros como intersecciones, montañas, estanques y tierras de cultivo, el brillo del video se puede mejorar sin sacrificar la calidad de la imagen, lo que permite que las cámaras capturen videos en color bien estructurados y con colores restaurados con precisión. Además, esta tecnología logra efectos de video de escena completa, proporcionando un análisis inteligente más preciso en lugares como estanques y tierras de cultivo donde la iluminación suplementaria no es factible.
Módulos clave potenciados por IA, optimizados para el borde, maximizando el rendimiento de AI-ISP
ISP significa Image Signal Processor, responsable de convertir las señales de los sensores de imagen en información reconocible para humanos y máquinas. Juega un papel crucial en la calidad de la imagen. En una analogía humana, ISP funciona como el cerebro del sistema de imágenes, procesando, mejorando y mejorando las imágenes recopiladas del sensor de la lente para ofrecer una calidad de imagen real o incluso mejor.
El ISP tradicional toma la salida de datos sin procesar de los sensores CIS y los convierte en datos YUV legibles por humanos siguiendo una secuencia de canalización específica. El procesamiento de imágenes en el ISP tradicional se basa en modelos matemáticos y en la comprensión ingenua de las imágenes por parte de los humanos. Por el contrario, AI-ISP, un concepto tecnológico reciente, se basa en la tubería tradicional de ISP pero supera sus limitaciones utilizando redes neuronales de IA. Al simular el cerebro humano con parámetros más ricos y establecer modelos más complejos, AI-ISP supera el techo del ISP tradicional, logrando una calidad de imagen superior.
Actualmente, AI-ISP potencia los cuatro módulos críticos en la canalización de ISP (HDR, 3DNR, RLTM y Demosaic) al mejorar continuamente su rendimiento a través del entrenamiento de IA. Este avance en IA-ISP rompe las limitaciones de las imágenes tradicionales de ISP.
La razón para elegir potenciar la IA de los módulos clave es que la potencia informática del lado del borde a menudo es limitada. Teniendo en cuenta la implementación práctica con preocupaciones sobre el consumo de energía y los costos, no es factible aplicar el procesamiento de IA a toda la canalización. AI-ISP, en esencia, está más cerca de la verdadera producción, ya que enfoca la IA en las funcionalidades más críticas y visualmente discernibles, haciendo el mejor uso de la potencia informática limitada para un rendimiento óptimo de AI-ISP.
Por lo tanto, en aplicaciones prácticas, AI-ISP puede mejorar el rendimiento iterando modelos visuales, lo que facilita actualizaciones rápidas de productos de chips en términos de calidad de imagen. Esto significa que un solo chip puede cubrir diferentes escenarios y mercados, reduciendo los costos generales de las aplicaciones de IA y mejorando significativamente la productividad.
Actualmente, no solo continuamos optimizando e iterando los algoritmos de IA relacionados con HDR, 3DNR, RLTM y Demosaic, sino que también exploramos el empoderamiento de IA de otros módulos en la canalización tradicional de ISP. Además, para cumplir con los requisitos de alta potencia informática de AI-ISP, también hemos desarrollado de forma independiente una NPU de precisión mixta, acelerando aún más la eficiencia del desarrollo y la implementación de IA.
Con respecto a la relación entre AI-ISP y "True Black Light", los expertos señalan que en la era de la luz negra de 0.01 lux, simplemente mejorar las lentes y los sensores no puede abordar los problemas fundamentales. Los ISP tradicionales no pueden satisfacer las demandas de avance tecnológico de la luz negra, lo que lleva a varios enfoques engañosos, como la reducción de la velocidad de fotogramas y el aumento de la iluminación suplementaria. Creen que una cámara a todo color con luz negra verdadera calificada debería garantizar un rendimiento en tiempo real (25-30) fps sin la necesidad de iluminación adicional en escenarios de 0.01 lux, distinguir con precisión los objetos en movimiento y reproducir fielmente los colores. Esta es precisamente la ventaja distintiva de AI-ISP.
De hecho, fue en 2020 cuando AI-ISP ingresó oficialmente al mercado, lo que llevó al rápido desarrollo de la nueva categoría de "Cámaras a todo color de luz negra verdadera".
Como podemos ver, con la creciente demanda de una mayor calidad de imagen en escenarios extremos como poca luz, alta dinámica y contaminación lumínica, AI-ISP se está volviendo cada vez más crucial en el campo de la imagen visual de inteligencia artificial. Al abordar de manera innovadora los principales puntos débiles de la industria relacionados con la poca luz y la alta dinámica, AI-ISP ha creado nuevas categorías de productos como la cámara a todo color True Black Light, desbloqueando nuevas posibilidades visuales para las personas. En el futuro, incluso puede llevarnos a una nueva era de imágenes.