前回の記事では、レンズから写真への変換方法がわかりました - カメラモジュール構造の紹介
しかし、画像全体の効果品質の原理は何でしょうか? 画像効果は、電子機器の消費者がより注目する部分です。
現在、各携帯電話メーカーのカメラは、発色が鮮やかなもの、夜景効果の高いもの、スーパーズーム機能を備えたものなど、それぞれ優れた機能を持っています。これらの利点のほとんどは、「ISP」と呼ばれるモジュールで処理されます。
しかし、ISP とは何ですか、レンズの光を芸術的な写真に変える方法、今日は ISP の画像処理リンクを皆さんに紹介します。
ISP基本概念
ISP (Image Signal Processor)、画像信号処理装置。ISP は、感光素子の元の光信号データを受信して処理する責任を負い、写真とビデオ全体の画質に重要な役割を果たします。
具体的な処理を図に示しますので、この図を中心にISPの各部の処理を紹介していきます。
画像を撮影するプロセス全体は、外景の光がレンズを通って光信号をCMOSに投影し、アナログ電気信号に変換され、A/D変換後にデジタル画像信号に変換され、MIPIプロトコルを通じてデジタル信号が送信され、ISPでさまざまな処理方法（BLC、LSCなど）が実行され、最終的に画像は表示または保存のために携帯電話に出力されます。
ISPはハードウェアとの関連が強い画像処理モジュールであり、画像データはISP内部で2つの色空間変換を受けており、初期RAW領域、中間RGB領域、最終YUV領域で処理が完了していることがわかります。その中でもRAW、RGB、YUVとはどのような概念なのか、分けて紹介します。
RAWドメイン（RAWドメイン）とは、英語でオリジナル、つまりセンサーから出力されただけの画像、何の加工も施されていない初期の生データを意味します。
センサーからの画像は、 cmos 上の赤、緑、青のフィルター アレイ ユニットを介して、それぞれ赤、緑、青の 3 成分情報を受け取り (この画像では、レンズ結像原理の cmos 導入部分を見ることができます)、最終的に 3 成分が 1 つの色情報に合成されます。
しかし、人間の目は緑色成分（Green）に対してより敏感であるため、ベイヤー形式の RAW データには 2 つの G、1 つの R、1 つの B が含まれており、一般的な形式には GBRG、GRBG、BGGR、RGGB が含まれます。
RGB ドメイン (RGB Domain) は色の 3 原色を表し、赤、緑、青の 3 原色モデルが人間の目の刺激に最も敏感であるため、RGB モデルを使用することで人間の目の表示に近づけることができます。
YUV ドメイン (YUV ドメイン) は、Y コンポーネント、U コンポーネント、および V コンポーネントの 3 つのコンポーネントを組み合わせたモデルです。Y コンポーネントは明るさを表し、U コンポーネント (青色の投影) と V コンポーネント (赤色の投影) を表します。人間の目は、Y 輝度コンポーネントにもより敏感です。YUV カラー モデルは RGB モデルから派生し、両者には固定された数学的関係があります。
Y = 0.299 * R + 0.587 * G + 0.114 * B;U = -0.169 * R - 0.331 * G + 0.5 * B;V = 0.5 *R - 0.419 * G - 0.081 * B;
ISPのプロセス
ISPはさまざまな領域で画像処理を行っており、各部の役割を順番に紹介します。
BLC(Black Level Compensation) 黒レベル補正
黒レベル自体の定義は、黒の最低値です。つまり、センサーがゼロに敏感なときに出力される値が黒レベルです。
発生する問題としては、センサーデバイスが外界の影響を受けて暗電流が発生し、出力が絶対0ではなくなり実際のレベル値に影響を与えることや、アナログ信号をデジタル信号に変換する際に精度の問題があり、小さなレベル値を識別できない場合があることなど、ハードウェアの問題が挙げられます。
一般的な補正方法は既存の基準から値を差し引く方法ですが、画素領域の最初の数行の不感光領域の平均値を補正値として使用することでこの値を補正できます。
BLC の存在により、画像情報はリニア データではないため、後続のデータをリニア データに処理できるように、画像情報を ISP 処理の最前線に配置して直接補正する必要があります。
LSC(Lens Shading Correction)レンズ補正
レンズの光の屈折不均一により、レンズの周囲に影が現れる現象。一般的に四隅が暗くなったり、四隅に色かぶりが生じたりします。
レンズ補正 LSC の方法は、画像全体を 16*16 または 128*128 の正方形に分割し、各交点のゲインを計算し、双一次補間法を使用して 2 次補正または 2 次補正とフィッティングを実行し、各ピクセルのゲインを取得します。
簡単に言うと、アルゴリズムに従ってピクセルの輝度ゲイン値を取得し、四隅のピクセルを補正します。
DPC (Defective Pixel Correction) 不良画素補正
ドット抜けは通常、製造プロセスの問題によって発生します。これは、特定のピクセルが周囲のピクセルと大きく異なることを意味します。一般に、完全に暗い環境では白い点が現れ、明るい環境では黒い点が現れます。
デッドピクセル補正には通常、次の 2 つの方法があります。
1つは静的補正で、センサーメーカーのポストキャリブレーションにより、OTP方式であるピクセルリンクリストを確立することで不良ピクセルを修復しますが、長期間使用することができず、将来的に問題が発生する可能性があります。
もう 1 つの方法は、アルゴリズムを通じて各ポイントがデッドであるかどうかを計算し、アルゴリズムによって修正する動的補正です。アルゴリズムの核心は、デッド ピクセルを周囲の正しいピクセルで補間およびフィルタリングすることです。
NR(ノイズリダクション) ノイズリダクション
画像処理を学んだことのある学生であれば、センサーが画像を出力する際に、温度が高くなったり、周囲が暗くなったり、送信過程でさまざまなノイズが発生したりすることをご存知でしょう。
元の RAW 画像が ISP によって処理されると、画像自体のノイズに新たなノイズが混入したり、元のノイズが増幅されたりします。特にLSCでは画像の各部分にゲインが掛けられるため、四隅のゲイン値が大きくなり、ノイズが大きく目立ちやすくなります。
RAW ドメインでのノイズ除去は、センサーによって撮像されたばかりの元のデータのノイズの形状がそれほど多くの非線形変化を生成していないため、後の段階で YUV ドメインでノイズ除去を行うよりも優れています。この期間でのノイズ除去は効果が高く、扱いが容易です。
したがって、RAW ドメインでのノイズ低減は、ISP プロセス全体における主要なノイズ低減ノードであり、ISP のフロントエンドでノイズ低減処理を実行することがより適切な選択です。
結局のところ、「火災予防は源から消さなければならない」、これが真実です。
ノイズ低減方法は空間領域または周波数領域で実行できます。人工知能技術の発展に伴い、深層学習に基づくノイズ低減アルゴリズムがいくつか登場し、その効果は非常に目覚ましいものですが、ISPの計算能力は深層学習の要件を満たすことができず、ISPではリアルタイムの画像ストリームの方が重要であるため、ISPの主流は依然として従来のフィルタリングアルゴリズムです。
このうち、NLM フィルタリングと BM3D アルゴリズムは、ブロック マッチングを使用して、画像の類似性特性に応じてフィルタリング ウィンドウ内で計算します。利点は、滑らかさとエッジのパフォーマンスが優れていることであり、現在、最良のノイズ低減アルゴリズムとして認識されていますが、計算とリソースの消費量が比較的大きくなります。
HuaweiのKirin 990のノイズリダクションアルゴリズムはBM3Dで、携帯電話で使用されているアルゴリズムは依然として非常に強力で、ノイズリダクション効果は非常に優れており、当時のリーダーにふさわしいものです。
AWB（オートホワイトバランス） 自動ホワイトバランス
自動ホワイトバランスは、名前が示すように、どの色温度でも白を維持することです。
このモジュールは、人間の目には色恒常性があるため導入されました。これは、人間の目によって認識されるオブジェクトの色が色温度によって変化しないことを意味します。
ただし、センサーは人間の目ほど強力ではないため、センサーの白色は、色温度が異なると異なって見えます(たとえば、晴天の下では青みがかかり(色温度が高い)、ろうそくの光の下では赤みがかっています(色温度が低い))。
人間の目のイメージング効果をシミュレートし、あらゆる色温度のシーンが確実に白になるようにするために、AWB モジュールが導入されています。
色温度の概念とは何ですか?
光に含まれる色の成分を表す単位であり、単位は「K（ケルビン）」です。絶対零度 (-273°C) から徐々に加熱された黒体が示す色は、黒から赤、次に黄色、白、そして最後に青色の光に変化します。
現在、AWB で使用されている主な方式は、グレースケール ワールド方式と完全反射方式です。
グレースケール ワールド メソッド: どの画像でも、色が十分に変化する限り、その 3 つの RGB コンポーネントの値は等しく、つまりグレーになる傾向があります。したがって、各カラー チャネルの平均値に基づいてゲイン値を取得し、このゲイン値を使用して各ピクセルを補正します。
完全反射法: 画像内の最も明るい点、つまり RGB 値が最も大きい点を使用してゲイン値を計算し、このゲイン値を使用して各ピクセルを補正します。
以上、RAW ドメインにおける ISP 処理のプロセスを基本的に紹介しましたが、リンク全体の順序は図のとおりではない可能性があります。メーカーが異なれば独自の設計スタイルやコンセプトがあり、ISP 処理プロセスも異なります。
必要なのは、各モジュールの動作原理、残りのRGBドメインとYUVドメインの処理フローは何か、各部分の役割は何かをマスターすることだけです。
次に何が起こったのか知りたい場合は、次の章を聞いて詳しく説明しましょう。
より技術的な記事については、ネットワーク全体に公開アカウント「Moyu IT 」を立ち上げますので、ぜひご注目、転送、いいねをお願いします！