Depuis les premiers jours des smartphones de quelques millions de pixels jusqu’aux appareils photo reflex numériques d’aujourd’hui et aux smartphones de dizaines de millions, voire de plus de cent millions de pixels, la recherche incessante d’une qualité d’image parfaite a été à l’origine des progrès itératifs des appareils d’imagerie. Après tout, face à nos propres yeux, avec leur étonnante résolution de 576 millions de pixels, tout semble encore moins réel.
Le développement des caméras a toujours reposé sur le support de la technologie ISP (Image Signal Processor). Pour la technologie ISP traditionnelle, la capture de scènes de nuit et de scènes à plage dynamique élevée (HDR) a été particulièrement difficile. Des problèmes tels que le bruit, le flou de mouvement, la surexposition et la perte d’informations en basse lumière dans les scènes nocturnes dynamiques non seulement ne parviennent pas à répondre à la demande croissante d’enregistrement d’images, mais entravent également les progrès d’industries telles que la vidéosurveillance et la gestion du trafic.
Pourtant, la technologie continue de briser les barrières, dépassant toujours notre imagination. Alors que les gens critiquent encore les défauts des FAI traditionnels, les progrès rapides de l’IA nous offrent plus de possibilités. L’émergence de la technologie AI-ISP permet d’obtenir une imagerie couleur haute définition dans des conditions de très faible luminosité. Les caméras passent de « voir » à « voir clairement » et même à « comprendre » les scènes qu’elles capturent.
L’ère de la « True Black-light » est officiellement à nos portes.
« True Blacklight », le pouvoir de l’IoT intelligent
Parlons de « True Blacklight ». Sur la base de différents effets de vision nocturne, les caméras peuvent être distinguées par différents noms tels que faible lumière, lumière des étoiles, super lumière des étoiles et lumière noire. Ces termes n’ont pas de norme unifiée, mais l’accent est mis sur la capacité de l’appareil photo à maintenir une imagerie en couleur dans des conditions de faible luminosité. Généralement, le « niveau de lumière noire » signifie que l’appareil photo peut fonctionner à 0,01 lux ou moins.
Traditionnellement, l’obtention d’effets de lumière noire impliquait l’utilisation de capteurs grand format, de capteurs basse résolution avec des tailles de pixels plus grandes, l’augmentation de la taille de l’ouverture ou la réduction des fréquences d’images vidéo pour capturer plus d’informations sur la lumière et les couleurs la nuit. Cependant, ces méthodes entraînaient souvent une saturation des couleurs inférieure à 100 %, des artefacts de mouvement et une augmentation des coûts en raison de capteurs et d’ouvertures plus grands, qui ne pouvaient pas répondre pleinement aux demandes de l’industrie.
En d’autres termes, « vous ne pouvez pas avoir le beurre et l’argent du beurre » dans des environnements extrêmement sombres.
Néanmoins, il existe une solution avec la technologie AI-ISP qui apporte une véritable imagerie en couleur à la lumière noire. Les caméras équipées de l’AI-ISP peuvent réaliser une restauration des couleurs en temps réel à moins de 0,01 Lux sans avoir besoin de lumière blanche ou d’éclairage infrarouge. La saturation des couleurs reste égale ou supérieure à 100 % et les objets en mouvement apparaissent sans problèmes significatifs de traînée, d’images fantômes ou de perspective. Selon les experts, ce n’est qu’en répondant aux six éléments clés suivants qu’il peut être appelé « True Blacklight » et vraiment aider les utilisateurs à obtenir de meilleures performances vidéo dans des scénarios extrêmement sombres.
Grâce à la percée de « True Blacklight », les villes intelligentes et l’IoT intelligent ont élargi leurs scénarios d’application. Dans les environnements extrêmement sombres tels que les intersections, les montagnes, les étangs et les terres agricoles, la luminosité vidéo peut être améliorée sans sacrifier la qualité de l’image, ce qui permet aux caméras de capturer des vidéos couleur bien structurées et aux couleurs restaurées avec précision. De plus, cette technologie permet d’obtenir des effets vidéo complets, fournissant une analyse intelligente plus précise dans des endroits tels que les étangs et les terres agricoles où un éclairage supplémentaire n’est pas possible.
Modules clés alimentés par l’IA, optimisés pour la périphérie - maximisant les performances de l’AI-ISP
ISP est l’abréviation de Image Signal Processor, responsable de la conversion des signaux des capteurs d’images en informations reconnaissables par les humains et les machines. Il joue un rôle crucial dans la qualité de l’image. Dans une analogie humaine, l’ISP fonctionne comme le cerveau du système d’imagerie, en traitant, améliorant et améliorant les images collectées par le capteur de l’objectif pour fournir une qualité d’image réelle ou même supérieure.
Les FAI traditionnels prennent les données brutes sortantes des capteurs CIS et les convertissent en données YUV lisibles par l’homme selon une séquence de pipeline spécifique. Le traitement d’images dans les FAI traditionnels repose sur la modélisation mathématique et la compréhension naïve des images par l’homme. En revanche, l’AI-ISP, un concept technologique récent, s’appuie sur le pipeline traditionnel des FAI, mais surmonte ses limites en utilisant des réseaux neuronaux d’IA. En simulant le cerveau humain avec des paramètres plus riches et en établissant des modèles plus complexes, AI-ISP dépasse le plafond des ISP traditionnels, obtenant une qualité d’image supérieure.
Actuellement, AI-ISP renforce les quatre modules critiques du pipeline ISP (HDR, 3DNR, RLTM et Demosaic) en améliorant continuellement leurs performances grâce à l’entraînement de l’IA. Cette percée dans l’AI-ISP brise les limites de l’imagerie ISP traditionnelle.
La raison pour laquelle nous avons choisi d’autonomiser les modules clés par l’IA est que la puissance de calcul en périphérie est souvent limitée. Si l’on considère un déploiement pratique avec des préoccupations relatives à la consommation d’énergie et aux coûts, l’application du traitement de l’IA à l’ensemble du pipeline n’est pas réalisable. L’AI-ISP, par essence, est plus proche d’une véritable productisation, car il concentre l’IA sur les fonctionnalités les plus critiques et visuellement discernables, en utilisant au mieux la puissance de calcul limitée pour des performances optimales de l’AI-ISP.
Par conséquent, dans des applications pratiques, l’AI-ISP peut améliorer les performances en itérant des modèles visuels, facilitant ainsi les mises à niveau rapides des puces en termes de qualité d’image. Cela signifie qu’une seule puce peut couvrir différents scénarios et marchés, ce qui réduit les coûts globaux des applications d’IA et améliore considérablement la productivité.
À l’heure actuelle, nous continuons non seulement à optimiser et à itérer les algorithmes d’IA liés au HDR, au 3DNR, au RLTM et au Demosaic, mais nous explorons également l’autonomisation de l’IA d’autres modules dans le pipeline traditionnel des FAI. De plus, pour répondre aux exigences élevées en matière de puissance de calcul d’AI-ISP, nous avons également développé indépendamment un NPU de précision mixte, accélérant ainsi l’efficacité du développement et de la mise en œuvre de l’IA.
En ce qui concerne la relation entre l’AI-ISP et la « True Black Light », les experts soulignent qu’à l’ère de la lumière noire de 0,01 lux, la simple amélioration des objectifs et des capteurs ne peut pas résoudre les problèmes fondamentaux. Les FAI traditionnels ne sont pas en mesure de répondre aux exigences d’avancement technologique en matière de lumière noire, ce qui conduit à diverses approches trompeuses telles que la réduction de la fréquence d’images et l’augmentation de l’éclairage supplémentaire. Ils estiment qu’une caméra couleur à lumière noire véritable qualifiée devrait garantir des performances en temps réel (25-30) ips sans avoir besoin d’un éclairage supplémentaire dans des scénarios de 0,01 lux, distinguer avec précision les objets en mouvement et reproduire fidèlement les couleurs. C’est précisément l’avantage distinctif de l’AI-ISP.
En fait, c’est en 2020 que AI-ISP est officiellement entré sur le marché, ce qui a conduit au développement rapide de la nouvelle catégorie de « caméras couleur à lumière noire ».
Comme nous pouvons le constater, avec la demande croissante d’une qualité d’image supérieure dans des scénarios extrêmes tels que la faible luminosité, la dynamique élevée et la pollution lumineuse, l’AI-ISP devient de plus en plus crucial dans le domaine de l’imagerie visuelle par intelligence artificielle. En s’attaquant de manière innovante aux principaux problèmes de l’industrie liés à la faible luminosité et à la dynamique élevée, AI-ISP a créé de nouvelles catégories de produits comme la caméra couleur True Black Light, ouvrant ainsi de nouvelles possibilités visuelles pour les gens. À l’avenir, cela pourrait même nous conduire dans une nouvelle ère de l’imagerie.