Desde os primórdios dos smartphones com alguns milhões de pixels até as câmeras DSLR atuais e smartphones com dezenas de milhões ou até mais de cem milhões de pixels, a busca incansável pela qualidade de imagem perfeita impulsionou os avanços iterativos em dispositivos de imagem. Afinal, diante de nossos próprios olhos, com seus surpreendentes 576 milhões de pixels de resolução, tudo ainda parece menos real.
O desenvolvimento de câmeras sempre contou com o apoio da tecnologia ISP (Image Signal Processor). Para a tecnologia ISP tradicional, capturar cenas noturnas e cenas de alta faixa dinâmica (HDR) tem sido particularmente desafiador. Problemas como ruído, desfoque de movimento, superexposição e perda de informações com pouca luz em cenas noturnas dinâmicas não apenas não atendem à crescente demanda por gravação de imagens, mas também impedem o progresso de setores como vigilância por vídeo e gerenciamento de tráfego.
No entanto, a tecnologia continua a quebrar barreiras, sempre superando nossa imaginação. Embora as pessoas ainda critiquem as falhas do ISP tradicional, o rápido progresso da IA nos oferece mais possibilidades. O surgimento da tecnologia AI-ISP possibilita imagens coloridas de alta definição em condições de luz extremamente baixa. As câmeras estão fazendo a transição de "ver" para "ver claramente" e até mesmo "entender" as cenas que capturam.
A era da "verdadeira luz negra" está oficialmente chegando.
"True Blacklight", capacitando a IoT inteligente
Vamos falar sobre "True Blacklight". Com base em diferentes efeitos de visão noturna, as câmeras podem ser distinguidas por vários nomes, como pouca luz, luz das estrelas, super luz das estrelas e luz negra. Esses termos não têm um padrão unificado, mas o foco está em saber se a câmera pode manter imagens coloridas em condições de pouca luz. Geralmente, "nível de luz negra" significa que a câmera pode operar a 0,01 lux ou menos.
Tradicionalmente, a obtenção de efeitos de luz negra envolvia o uso de sensores de grande formato, sensores de baixa resolução com tamanhos de pixel maiores, aumento do tamanho da abertura ou redução das taxas de quadros de vídeo para capturar mais informações de luz e cor à noite. No entanto, esses métodos geralmente resultavam em menos de 100% de saturação de cor, artefatos de movimento e aumento de custos devido a sensores e aberturas maiores, que não podiam atender totalmente às demandas do setor.
Em outras palavras, "você não pode ter seu bolo e comê-lo também" em ambientes extremamente escuros.
No entanto, existe uma solução com tecnologia AI-ISP que traz a verdadeira imagem colorida de luz negra para a realidade. As câmeras equipadas com AI-ISP podem obter restauração de cores em tempo real a menos de 0,01 Lux sem a necessidade de luz branca ou iluminação infravermelha. A saturação de cor permanece igual ou superior a 100%, e os objetos em movimento aparecem sem problemas significativos de rastreamento, fantasmas ou perspectiva. De acordo com especialistas, somente atendendo aos seis elementos-chave a seguir ele pode ser chamado de "True Blacklight" e realmente ajudar os usuários a obter um melhor desempenho de vídeo em cenários extremamente escuros.
Graças ao avanço do "True Blacklight", as cidades inteligentes e a IoT inteligente expandiram seus cenários de aplicação. Em ambientes extremamente escuros, como cruzamentos, montanhas, lagoas e fazendas, o brilho do vídeo pode ser aprimorado sem sacrificar a qualidade da imagem, permitindo que as câmeras capturem vídeos coloridos bem estruturados e restaurados com cores precisas. Além disso, essa tecnologia alcança efeitos de vídeo de cena completa, fornecendo análises inteligentes mais precisas em locais como lagoas e fazendas onde a iluminação suplementar não é viável.
Módulos-chave habilitados para IA, otimizados para borda - maximizando o desempenho AI-ISP
ISP significa Processador de Sinal de Imagem, responsável por converter sinais de sensores de imagem em informações reconhecíveis para humanos e máquinas. Ele desempenha um papel crucial na qualidade da imagem. Em uma analogia humana, o ISP funciona como o cérebro do sistema de imagem, processando, aprimorando e melhorando as imagens coletadas do sensor da lente para fornecer uma qualidade de imagem verdadeira ou até melhor.
O ISP tradicional pega a saída de dados brutos dos sensores CIS e os converte em dados YUV legíveis por humanos seguindo uma sequência de pipeline específica. O processamento de imagens no ISP tradicional depende de modelagem matemática e da compreensão ingênua das imagens humanas. Em contraste, o AI-ISP, um conceito tecnológico recente, baseia-se no pipeline tradicional de ISP, mas supera suas limitações usando redes neurais de IA. Ao simular o cérebro humano com parâmetros mais ricos e estabelecer modelos mais complexos, o AI-ISP ultrapassa o teto do ISP tradicional, alcançando qualidade de imagem superior.
Atualmente, o AI-ISP capacita os quatro módulos críticos no pipeline do ISP - HDR, 3DNR, RLTM e Demosaic - aprimorando continuamente seu desempenho por meio do treinamento de IA. Esse avanço no AI-ISP quebra as limitações das imagens tradicionais do ISP.
A razão para escolher capacitar os principais módulos com IA é que o poder de computação do lado da borda geralmente é limitado. Considerando a implantação prática com preocupações sobre consumo de energia e custos, a aplicação do processamento de IA a todo o pipeline não é viável. O AI-ISP, em essência, está mais próximo da verdadeira produção, pois concentra a IA nas funcionalidades mais críticas e visualmente discerníveis, fazendo o melhor uso do poder de computação limitado para o desempenho ideal do AI-ISP.
Portanto, em aplicações práticas, o AI-ISP pode melhorar o desempenho iterando modelos visuais, facilitando atualizações rápidas de produtos de chip em termos de qualidade de imagem. Isso significa que um único chip pode cobrir diferentes cenários e mercados, reduzindo os custos gerais de aplicativos de IA e aumentando significativamente a produtividade.
Atualmente, não estamos apenas continuando a otimizar e iterar os algoritmos de IA relacionados a HDR, 3DNR, RLTM e Demosaic, mas também explorando o empoderamento de IA de outros módulos no pipeline tradicional de ISP. Além disso, para atender aos requisitos de alto poder de computação do AI-ISP, também desenvolvemos de forma independente uma NPU de precisão mista, acelerando ainda mais a eficiência do desenvolvimento e implementação de IA.
Em relação à relação entre AI-ISP e "True Black Light", os especialistas apontam que, na era da luz negra de 0,01 lux, simplesmente melhorar as lentes e os sensores não pode resolver os problemas fundamentais. Os ISPs tradicionais são incapazes de atender às demandas de avanço tecnológico por luz negra, levando a várias abordagens enganosas, como redução da taxa de quadros e aumento da iluminação suplementar. Eles acreditam que uma câmera colorida de luz negra verdadeira qualificada deve garantir desempenho em tempo real (25-30) fps sem a necessidade de iluminação suplementar em cenários de 0,01 lux, distinguir com precisão objetos em movimento e reproduzir cores fielmente. Esta é precisamente a vantagem distintiva do AI-ISP.
De fato, foi em 2020 que o AI-ISP entrou oficialmente no mercado, levando ao rápido desenvolvimento da nova categoria de "True Black Light Full-Color Cameras".
Como podemos ver, com a crescente demanda por maior qualidade de imagem em cenários extremos, como pouca luz, alta dinâmica e poluição luminosa, o AI-ISP está se tornando cada vez mais crucial no campo da imagem visual de inteligência artificial. Ao abordar de forma inovadora os principais pontos problemáticos do setor relacionados à pouca luz e alta dinâmica, o AI-ISP criou novas categorias de produtos, como a câmera colorida True Black Light, desbloqueando novas possibilidades visuais para as pessoas. No futuro, pode até nos levar a uma nova era de imagens.