Von den Anfängen von Smartphones mit wenigen Millionen Pixeln bis hin zu den heutigen DSLR-Kameras und Smartphones mit Dutzenden von Millionen oder sogar über hundert Millionen Pixeln hat das unermüdliche Streben nach perfekter Bildqualität die iterative Weiterentwicklung von Bildgebungsgeräten vorangetrieben. Schließlich wirkt vor unseren eigenen Augen mit ihren erstaunlichen 576 Millionen Pixeln Auflösung alles noch weniger real.
Bei der Entwicklung von Kameras wurde immer auf die Unterstützung der ISP-Technologie (Image Signal Processor) gesetzt. Für die herkömmliche ISP-Technologie war die Aufnahme von Nachtszenen und HDR-Szenen (High Dynamic Range) eine besondere Herausforderung. Probleme wie Rauschen, Bewegungsunschärfe, Überbelichtung und Verlust von Informationen bei schlechten Lichtverhältnissen in dynamischen Nachtszenen können nicht nur die steigende Nachfrage nach Bildaufzeichnung nicht erfüllen, sondern behindern auch den Fortschritt von Branchen wie Videoüberwachung und Verkehrsmanagement.
Dennoch durchbricht die Technologie weiterhin Barrieren und übertrifft immer unsere Vorstellungskraft. Während die Menschen die Mängel des traditionellen ISP immer noch kritisieren, bietet uns der rasante Fortschritt der KI mehr Möglichkeiten. Das Aufkommen der KI-ISP-Technologie ermöglicht hochauflösende Vollfarbbildgebung bei extrem schlechten Lichtverhältnissen. Kameras wechseln vom "Sehen" zum "Klarsehen" und sogar zum "Verstehen" der Szenen, die sie einfangen.
Die Ära des "wahren Schwarzlichts" ist offiziell angebrochen.
"True Blacklight", das intelligente IoT
Sprechen wir über "True Blacklight". Basierend auf unterschiedlichen Nachtsichteffekten können Kameras unter verschiedenen Namen wie Low-Light, Starlight, Super Starlight und Blacklight unterschieden werden. Für diese Begriffe gibt es keinen einheitlichen Standard, aber der Schwerpunkt liegt darauf, ob die Kamera auch bei schlechten Lichtverhältnissen eine Vollfarbbildgebung aufrechterhalten kann. Im Allgemeinen bedeutet "Schwarzlichtpegel", dass die Kamera mit 0,01 Lux oder weniger betrieben werden kann.
Traditionell erforderte das Erzielen von Schwarzlichteffekten die Verwendung von großformatigen Sensoren, Sensoren mit niedriger Auflösung und größeren Pixelgrößen, die Vergrößerung der Blende oder die Reduzierung der Videobildraten, um nachts mehr Licht- und Farbinformationen zu erfassen. Diese Methoden führten jedoch oft zu einer Farbsättigung von weniger als 100 %, Bewegungsartefakten und erhöhten Kosten aufgrund größerer Sensoren und Blenden, die die Anforderungen der Industrie nicht vollständig erfüllen konnten.
Mit anderen Worten: "Man kann nicht seinen Kuchen haben und ihn auch essen" in extrem dunklen Umgebungen.
Dennoch gibt es mit der AI-ISP-Technologie eine Lösung, die echte Schwarzlicht-Vollfarbbildgebung in die Realität bringt. Kameras, die mit AI-ISP ausgestattet sind, können eine Echtzeit-Farbwiederherstellung mit weniger als 0,01 Lux erreichen, ohne dass weißes Licht oder Infrarotbeleuchtung erforderlich ist. Die Farbsättigung bleibt bei oder über 100 %, und sich bewegende Objekte werden ohne nennenswerte Verzögerungen, Geisterbilder oder perspektivische Probleme angezeigt. Experten zufolge kann es nur durch die Erfüllung der folgenden sechs Schlüsselelemente als "True Blacklight" bezeichnet werden und den Benutzern wirklich helfen, eine bessere Videoleistung in extrem dunklen Szenarien zu erzielen.
Dank des Durchbruchs von "True Blacklight" haben Smart Cities und intelligentes IoT ihre Anwendungsszenarien erweitert. In extrem dunklen Umgebungen wie Kreuzungen, Bergen, Teichen und Ackerland kann die Videohelligkeit ohne Einbußen bei der Bildqualität verbessert werden, sodass Kameras gut strukturierte, präzise farbrestaurierte Farbvideos aufnehmen können. Darüber hinaus werden mit dieser Technologie Videoeffekte in vollen Szenen erzielt, die eine präzisere, intelligentere Analyse an Orten wie Teichen und Ackerland ermöglichen, an denen eine zusätzliche Beleuchtung nicht möglich ist.
KI-gestützte Schlüsselmodule, Edge-optimiert - Maximierung der KI-ISP-Leistung
ISP steht für Image Signal Processor, der für die Umwandlung von Signalen von Bildsensoren in erkennbare Informationen für Mensch und Maschine verantwortlich ist. Es spielt eine entscheidende Rolle für die Bildqualität. In einer menschlichen Analogie funktioniert ISP wie das Gehirn des Bildgebungssystems und verarbeitet, verbessert und verbessert die gesammelten Bilder vom Linsensensor, um eine echte oder sogar bessere Bildqualität zu liefern.
Herkömmliche ISPs nehmen die Rohdaten, die von CIS-Sensoren ausgegeben werden, und wandeln sie in menschenlesbare YUV-Daten um, die einer bestimmten Pipeline-Sequenz folgen. Die Bildverarbeitung im traditionellen ISP beruht auf mathematischer Modellierung und dem naiven Verständnis von Bildern durch den Menschen. Im Gegensatz dazu baut AI-ISP, ein neues technologisches Konzept, auf der traditionellen ISP-Pipeline auf, überwindet aber deren Grenzen mithilfe von neuronalen KI-Netzen. Durch die Simulation des menschlichen Gehirns mit umfangreicheren Parametern und die Etablierung komplexerer Modelle übertrifft AI-ISP die Obergrenze herkömmlicher ISP und erreicht eine überlegene Bildqualität.
Derzeit unterstützt AI-ISP die vier kritischen Module in der ISP-Pipeline – HDR, 3DNR, RLTM und Demosaic – durch kontinuierliche Verbesserung ihrer Leistung durch KI-Training. Dieser Durchbruch im Bereich KI-ISP sprengt die Grenzen des traditionellen ISP-Imaging.
Der Grund für die Entscheidung, die Schlüsselmodule KI-fähig zu machen, ist, dass die Rechenleistung auf der Edge-Seite oft begrenzt ist. Unter Berücksichtigung des praktischen Einsatzes mit Bedenken hinsichtlich des Stromverbrauchs und der Kosten ist die Anwendung der KI-Verarbeitung auf die gesamte Pipeline nicht machbar. AI-ISP ist im Wesentlichen näher an einer echten Produktisierung, da es die KI auf die kritischsten und visuell erkennbarsten Funktionen konzentriert und die begrenzte Rechenleistung für eine optimale KI-ISP-Leistung optimal nutzt.
Daher kann AI-ISP in praktischen Anwendungen die Leistung verbessern, indem visuelle Modelle iteriert werden, was schnelle Upgrades von Chipprodukten in Bezug auf die Bildqualität ermöglicht. Das bedeutet, dass ein einziger Chip verschiedene Szenarien und Märkte abdecken kann, wodurch die Gesamtkosten für KI-Anwendungen gesenkt und die Produktivität erheblich gesteigert werden.
Derzeit optimieren und iterieren wir nicht nur die KI-Algorithmen in Bezug auf HDR, 3DNR, RLTM und Demosaic, sondern erforschen auch die KI-Befähigung anderer Module in der traditionellen ISP-Pipeline. Um den hohen Anforderungen an die Rechenleistung von AI-ISP gerecht zu werden, haben wir außerdem unabhängig eine NPU mit gemischter Genauigkeit entwickelt, die die Effizienz der KI-Entwicklung und -Implementierung weiter beschleunigt.
In Bezug auf die Beziehung zwischen KI-ISP und "True Black Light" weisen Experten darauf hin, dass im Zeitalter von 0,01 Lux Schwarzlicht die einfachen Verbesserungen von Objektiven und Sensoren die grundlegenden Probleme nicht lösen können. Herkömmliche ISPs sind nicht in der Lage, die Anforderungen des technologischen Fortschritts an Schwarzlicht zu erfüllen, was zu verschiedenen irreführenden Ansätzen wie der Reduzierung der Bildrate und einer erhöhten zusätzlichen Beleuchtung führt. Sie sind der Meinung, dass eine qualifizierte Vollfarbkamera mit echtem Schwarzlicht eine Echtzeitleistung (25-30) fps gewährleisten sollte, ohne dass eine zusätzliche Beleuchtung in 0,01-Lux-Szenarien erforderlich ist, sich bewegende Objekte genau unterscheiden und Farben originalgetreu wiedergeben sollte. Genau das ist der entscheidende Vorteil von AI-ISP.
Tatsächlich war es im Jahr 2020, als AI-ISP offiziell auf den Markt kam, was zu einer rasanten Entwicklung der neuen Kategorie der "True Black Light Full-Color Cameras" führte.
Wie wir sehen können, wird KI-ISP mit der steigenden Nachfrage nach höherer Bildqualität in Extremszenarien wie schwachem Licht, hoher Dynamik und Lichtverschmutzung im Bereich der visuellen Bildgebung mit künstlicher Intelligenz immer wichtiger. Durch die innovative Ansprache der wichtigsten Probleme der Branche in Bezug auf schwaches Licht und hohe Dynamik hat AI-ISP neue Produktkategorien wie die True Black Light Full-Color Camera geschaffen und damit neue visuelle Möglichkeiten für Menschen eröffnet. In Zukunft könnte es uns sogar in eine neue Ära der Bildgebung führen.