数百万画素のスマートフォンの黎明期から、今日のデジタル一眼レフカメラ、数千万画素、さらには1億画素を超えるスマートフォンに至るまで、完璧な画質の絶え間ない追求が、イメージングデバイスの反復的な進歩を推進してきました。結局のところ、驚くべき 5 億 7,600 万ピクセルの解像度を持つ私たち自身の目を前にすると、すべてがまだ現実的ではないように見えます。
カメラの開発は常に ISP (Image Signal Processor) テクノロジーのサポートに依存してきました。従来のISPテクノロジーでは、夜景やハイダイナミックレンジ(HDR)シーンのキャプチャは特に困難でした。ダイナミックな夜景におけるノイズ、モーションブラー、露出オーバー、低照度情報の損失などの問題は、画像録画の需要の高まりに応えられないだけでなく、ビデオ監視や交通管理などの業界の進歩を妨げています。
しかし、テクノロジーは障壁を打ち破り続け、常に私たちの想像を超えています。人々は従来の ISP の欠陥に対して依然として批判的ですが、AI の急速な進歩により、より多くの可能性が与えられます。AI-ISP テクノロジーの出現により、非常に暗い場所での高解像度フルカラー イメージングが可能になりました。カメラは「見る」から「はっきり見る」へと移行し、さらには撮影したシーンを「理解する」ことに移行しています。
「トゥルー・ブラックライト」の時代が正式に到来しました。
「True Blacklight」は、インテリジェントなIoTを強化する
「トゥルー・ブラックライト」について話しましょう。さまざまな暗視効果に基づいて、カメラは低照度、スターライト、スーパースターライト、ブラックライトなどのさまざまな名前で区別できます。これらの用語には統一された標準はありませんが、カメラが暗い条件下でフルカラー画像を維持できるかどうかに焦点が当てられています。一般的に「ブラックライトレベル」とは、カメラが0.01ルクス以下で動作できることを意味します。
従来、ブラックライト効果を実現するには、大判センサー、ピクセルサイズの大きい低解像度センサーを使用したり、絞りサイズを大きくしたり、ビデオフレームレートを下げたりして、夜間により多くの光と色の情報をキャプチャする必要がありました。しかし、これらの方法では、多くの場合、彩度が 100% 未満になり、モーション アーティファクトが発生し、センサーと絞りが大きくなったためコストが増加し、業界の要求を完全に満たすことができませんでした。
つまり、極度の暗い環境では「ケーキを持って食べることもできない」ということです。
それにもかかわらず、真のブラックライトフルカラーイメージングを実現するAI-ISPテクノロジーを備えたソリューションがあります。AI-ISPを搭載したカメラは、白色光や赤外線照明を必要とせずに、0.01Lux未満でリアルタイムの色復元を実現できます。彩度は 100% 以上のままで、動くオブジェクトは、大きなトレーリング、ゴースト、または遠近法の問題なしに表示されます。専門家によると、次の 6 つの重要な要素を満たすことによってのみ、「真のブラックライト」と呼ばれ、ユーザーが非常に暗いシナリオでより良いビデオ パフォーマンスを達成するのを真に支援できます。
「True Blacklight」の画期的な進歩のおかげで、スマートシティとインテリジェントIoTはアプリケーションシナリオを拡大しました。交差点、山、池、農地などの非常に暗い環境では、画質を犠牲にすることなくビデオの明るさを向上させることができ、カメラが適切に構造化され、正確に色復元されたカラービデオを撮影できるようになります。さらに、このテクノロジーはフルシーンのビデオ効果を実現し、池や農地など、補助照明が不可能な場所でより正確なインテリジェントな分析を提供します。
AIを活用した主要モジュール、エッジ最適化 - AI-ISPのパフォーマンスを最大化
ISP は Image Signal Processor の略で、イメージ センサーからの信号を人間や機械が認識できる情報に変換する役割を果たします。画質に重要な役割を果たします。人間の例えでは、ISPはイメージングシステムの頭脳のように機能し、レンズセンサーから収集された画像を処理、強化、改善して、真の、またはそれ以上の画質を提供します。
従来のISPは、CISセンサーから出力された生データを取得し、特定のパイプラインシーケンスに従って人間が読めるYUVデータに変換します。従来のISPにおける画像処理は、数学的モデリングと人間の画像の素朴な理解に依存しています。対照的に、最近の技術概念である AI-ISP は、従来の ISP パイプラインに基づいて構築されていますが、AI ニューラル ネットワークを使用してその制限を克服しています。AI-ISP は、より豊富なパラメータで人間の脳をシミュレートし、より複雑なモデルを確立することで、従来の ISP の上限を超え、優れた画質を実現します。
現在、AI-ISP は、AI トレーニングを通じてパフォーマンスを継続的に向上させることで、ISP パイプラインの 4 つの重要なモジュール (HDR、3DNR、RLTM、Demosaic) を強化しています。AI-ISP におけるこの画期的な進歩は、従来の ISP イメージングの限界を打ち破ります。
主要モジュールを AI で強化することを選択する理由は、エッジ側のコンピューティング能力が制限されていることが多いためです。消費電力やコストを懸念して実用化を考えると、パイプライン全体にAI処理を適用することは現実的ではありません。AI-ISP は本質的に、AI を最も重要で視覚的に識別可能な機能に焦点を当て、限られたコンピューティング能力を最大限に活用して AI-ISP のパフォーマンスを最適化するため、真の製品化に近いものです。
したがって、実際のアプリケーションでは、AI-ISP はビジュアル モデルを反復することでパフォーマンスを向上させ、画質の点でチップ製品の迅速なアップグレードを容易にします。これは、単一のチップでさまざまなシナリオや市場をカバーできることを意味し、AI アプリケーション全体のコストを削減し、生産性を大幅に向上させます。
現在、HDR、3DNR、RLTM、Demosaicに関連するAIアルゴリズムの最適化と反復を継続するだけでなく、従来のISPパイプラインにおける他のモジュールのAIエンパワーメントも模索しています。さらに、AI-ISPの高いコンピューティング能力要件を満たすために、混合精度NPUも独自に開発し、AIの開発と実装の効率をさらに加速しました。
AI-ISPと「トゥルーブラックライト」の関係について、専門家は、0.01ルクスのブラックライトの時代において、単にレンズやセンサーを改良するだけでは根本的な問題に対処できないと指摘しています。従来の ISP はブラックライトに対する技術進歩の需要を満たすことができず、フレーム レートの低下や補助照明の増加など、さまざまな誤解を招くアプローチにつながります。彼らは、認定された真のブラックライトフルカラーカメラは、0.01ルクスのシナリオで補助照明を必要とせずにリアルタイム(25〜30)fpsのパフォーマンスを確保し、動く物体を正確に区別し、色を忠実に再現する必要があると考えています。これこそがAI-ISPの際立った利点です。
実際、AI-ISP が正式に市場に参入したのは 2020 年で、「トゥルー ブラック ライト フルカラー カメラ」という新しいカテゴリの急速な発展につながりました。
ご覧のとおり、低照度、高ダイナミクス、光害などの極端なシナリオでより高い画像品質に対する需要が高まるにつれ、AI-ISP は人工知能ビジュアル イメージングの分野でますます重要になっています。AI-ISP は、低照度と高ダイナミクスに関連する業界の中核的な問題点に革新的に対処することで、True Black Light フルカラー カメラなどの新しい製品カテゴリを作成し、人々に新たな視覚的可能性を解き放ちました。将来的には、それは私たちをイメージングの新時代に導くかもしれません。