Dagli albori degli smartphone con pochi milioni di pixel alle odierne fotocamere DSLR e agli smartphone con decine di milioni o addirittura oltre cento milioni di pixel, l'incessante ricerca della perfetta qualità dell'immagine ha guidato i progressi iterativi nei dispositivi di imaging. Dopotutto, di fronte ai nostri occhi, con i loro sorprendenti 576 milioni di pixel di risoluzione, tutto sembra ancora meno reale.
Lo sviluppo delle fotocamere si è sempre basato sul supporto della tecnologia ISP (Image Signal Processor). Per la tecnologia ISP tradizionale, l'acquisizione di scene notturne e scene HDR (High Dynamic Range) è stata particolarmente impegnativa. Problemi come il rumore, la sfocatura del movimento, la sovraesposizione e la perdita di informazioni in condizioni di scarsa illuminazione nelle scene notturne dinamiche non solo non riescono a soddisfare la crescente domanda di registrazione delle immagini, ma ostacolano anche il progresso di settori come la videosorveglianza e la gestione del traffico.
Eppure, la tecnologia continua a rompere le barriere, superando sempre la nostra immaginazione. Mentre le persone sono ancora critiche nei confronti dei difetti degli ISP tradizionali, il rapido progresso dell'intelligenza artificiale ci offre più possibilità. L'emergere della tecnologia AI-ISP rende possibile l'imaging a colori ad alta definizione in condizioni di scarsa illuminazione. Le telecamere stanno passando dal "vedere" al "vedere chiaramente" e persino alla "comprensione" delle scene che catturano.
L'era della "Vera Luce Nera" è ufficialmente alle porte.
"True Blacklight", potenziare l'IoT intelligente
Parliamo di "True Blacklight". Sulla base di diversi effetti di visione notturna, le telecamere possono essere distinte con vari nomi come luce bassa, luce stellare, super luce stellare e luce nera. Questi termini non hanno uno standard unificato, ma l'attenzione si concentra sulla capacità della fotocamera di mantenere immagini a colori in condizioni di scarsa illuminazione. In generale, "livello di luce nera" significa che la fotocamera può funzionare a 0,01 lux o inferiore.
Tradizionalmente, per ottenere effetti di luce nera si utilizzavano sensori di grande formato, sensori a bassa risoluzione con pixel di dimensioni maggiori, aumento dell'apertura o riduzione della frequenza dei fotogrammi video per acquisire più informazioni sulla luce e sul colore di notte. Tuttavia, questi metodi spesso portavano a una saturazione del colore inferiore al 100%, artefatti di movimento e un aumento dei costi a causa di sensori e aperture più grandi, che non potevano soddisfare pienamente le richieste del settore.
In altre parole, "non puoi avere la botte piena e la moglie ubriaca" in ambienti estremamente bui.
Tuttavia, esiste una soluzione con la tecnologia AI-ISP che trasforma in realtà l'imaging a colori a luce nera. Le telecamere dotate di AI-ISP possono ottenere il ripristino del colore in tempo reale a meno di 0,01 Lux senza la necessità di luce bianca o illuminazione a infrarossi. La saturazione del colore rimane pari o superiore al 100% e gli oggetti in movimento appaiono senza problemi significativi di strascico, immagini fantasma o prospettiva. Secondo gli esperti, solo soddisfacendo i seguenti sei elementi chiave può essere chiamato "True Blacklight" e aiutare veramente gli utenti a ottenere migliori prestazioni video in scenari estremamente bui.
Grazie alla svolta di "True Blacklight", le città intelligenti e l'IoT intelligente hanno ampliato i loro scenari applicativi. In ambienti estremamente bui come incroci, montagne, stagni e terreni agricoli, la luminosità video può essere migliorata senza sacrificare la qualità dell'immagine, consentendo alle telecamere di acquisire video a colori ben strutturati e accuratamente ripristinati con il colore. Inoltre, questa tecnologia consente di ottenere effetti video per l'intera scena, fornendo un'analisi intelligente più precisa in luoghi come stagni e terreni agricoli in cui l'illuminazione supplementare non è fattibile.
Moduli chiave basati sull'intelligenza artificiale, ottimizzati per l'edge - massimizzano le prestazioni dell'AI-ISP
ISP è l'acronimo di Image Signal Processor, responsabile della conversione dei segnali provenienti dai sensori di immagine in informazioni riconoscibili per l'uomo e le macchine. Svolge un ruolo cruciale nella qualità dell'immagine. In un'analogia umana, l'ISP funziona come il cervello del sistema di imaging, elaborando, migliorando e migliorando le immagini raccolte dal sensore dell'obiettivo per fornire una qualità di imaging reale o addirittura migliore.
L'ISP tradizionale prende i dati grezzi in uscita dai sensori CIS e li converte in dati YUV leggibili dall'uomo seguendo una specifica sequenza di pipeline. L'elaborazione delle immagini negli ISP tradizionali si basa sulla modellazione matematica e sulla comprensione ingenua delle immagini da parte dell'uomo. Al contrario, l'AI-ISP, un concetto tecnologico recente, si basa sulla tradizionale pipeline ISP ma ne supera i limiti utilizzando le reti neurali AI. Simulando il cervello umano con parametri più ricchi e stabilendo modelli più complessi, l'AI-ISP supera il tetto dell'ISP tradizionale, ottenendo una qualità dell'immagine superiore.
Attualmente, l'AI-ISP potenzia i quattro moduli critici della pipeline ISP (HDR, 3DNR, RLTM e Demosaic) migliorando continuamente le loro prestazioni attraverso l'addestramento dell'intelligenza artificiale. Questa svolta nell'AI-ISP frantuma i limiti dell'imaging ISP tradizionale.
Il motivo per cui si è scelto di potenziare l'intelligenza artificiale dei moduli chiave è che la potenza di calcolo edge-side è spesso limitata. Considerando l'implementazione pratica con preoccupazioni relative al consumo energetico e ai costi, l'applicazione dell'elaborazione AI all'intera pipeline non è fattibile. L'AI-ISP, in sostanza, è più vicino alla vera produzione, in quanto concentra l'IA sulle funzionalità più critiche e visivamente distinguibili, sfruttando al meglio la limitata potenza di calcolo per prestazioni ottimali dell'AI-ISP.
Pertanto, nelle applicazioni pratiche, l'AI-ISP può migliorare le prestazioni iterando i modelli visivi, facilitando i rapidi aggiornamenti dei prodotti chip in termini di qualità dell'immagine. Ciò significa che un singolo chip può coprire diversi scenari e mercati, riducendo i costi complessivi delle applicazioni di intelligenza artificiale e migliorando significativamente la produttività.
Attualmente, non solo stiamo continuando a ottimizzare e iterare gli algoritmi di intelligenza artificiale relativi a HDR, 3DNR, RLTM e Demosaic, ma stiamo anche esplorando l'empowerment dell'intelligenza artificiale di altri moduli nella pipeline ISP tradizionale. Inoltre, per soddisfare gli elevati requisiti di potenza di calcolo dell'AI-ISP, abbiamo anche sviluppato in modo indipendente una NPU a precisione mista, accelerando ulteriormente l'efficienza dello sviluppo e dell'implementazione dell'IA.
Per quanto riguarda la relazione tra AI-ISP e "True Black Light", gli esperti sottolineano che nell'era della luce nera da 0,01 lux, il semplice miglioramento di lenti e sensori non può risolvere i problemi fondamentali. Gli ISP tradizionali non sono in grado di soddisfare le richieste di progresso tecnologico per la luce nera, portando a vari approcci fuorvianti come la riduzione del frame rate e l'aumento dell'illuminazione supplementare. Ritengono che una telecamera a colori a luce nera qualificata debba garantire prestazioni in tempo reale (25-30) fps senza la necessità di illuminazione supplementare in scenari da 0,01 lux, distinguere accuratamente gli oggetti in movimento e riprodurre fedelmente i colori. Questo è esattamente il vantaggio distintivo di AI-ISP.
Infatti, è stato nel 2020 che AI-ISP è entrato ufficialmente nel mercato, portando al rapido sviluppo della nuova categoria di "True Black Light Full-Color Cameras".
Come possiamo vedere, con la crescente domanda di una maggiore qualità dell'immagine in scenari estremi come scarsa illuminazione, alta dinamica e inquinamento luminoso, l'AI-ISP sta diventando sempre più cruciale nel campo dell'imaging visivo con intelligenza artificiale. Affrontando in modo innovativo i principali punti deboli del settore legati alla scarsa illuminazione e all'elevata dinamica, AI-ISP ha creato nuove categorie di prodotti come la telecamera a colori True Black Light, sbloccando nuove possibilità visive per le persone. In futuro, potrebbe persino condurci in una nuova era dell'imaging.