[Computer Vision] 画像処理の基本操作

画像平滑化フィルタ処理

画像の平滑化とは、センサーや大気などの影響により、リモートセンシング画像に明るさが過度に変化する部分や輝点（ノイズとも呼ばれます）が現れることを意味します。このノイズを抑えるために画像の明るさを平滑化する処理方法が画像平滑化です。画像のスムージングは​​実際にはローパス フィルター処理であり、スムージング プロセスにより画像のエッジがぼやけます。

平均フィルター

線形フィルタリングは画像マトリクス全体に作用します。

• 特徴: ウィンドウサイズが大きいほどノイズ除去効果は高くなりますが、当然計算時間も長くなり、画像の歪みも大きくなります。実際の処理では、歪み効果とノイズ除去効果のバランスをとり、適切なウィンドウ サイズを選択する必要があります。
• 【メリット】 アルゴリズムがシンプルで複雑な画像処理技術を必要とせず、多くの時間とスペースを必要としません。また、ノイズを効果的に除去し、画質を向上させることができます。
• 【短所】 平均値フィルター自体に欠陥があり、画像の細部をしっかり保護できず、画像のノイズを除去する際に画像の細部を破壊してしまうため、画像がぼやけてしまい、ノイズ点をうまく除去できません。
• 【適用範囲】ソルトアンドペッパーノイズ
• 【不適な範囲】低照度、ノイズの強い画像

計算プロセス

特定のウィンドウ サイズに対して、ウィンドウ内の値が平均され、中央値がウィンドウの中心値として使用されます。たとえば、「3」と入力すると、$3\times 3$ウィンドウは、指定された画像マトリックスのピクセル値を再計算します。[注: エッジ上のピクセル ($3\times 3$ )、いくつかの有効なピクセルを計算します]
以下の図に示すように、最初の行と最初の列のピクセル 1 について、それを中心として、オレンジ色の領域の平均値を新しい値として取得します。

Pythonの実装

import cv2
import numpy as np

x = np.array([[1, 3, 2, 4, 6, 5, 7]])
# 对图像进行均值滤波，指定核大小为5x5
result1 = cv2.blur(x, (3, 3))
print(result1)

ガウスフィルター

線形フィルタリングは画像マトリクス全体に作用します。

• 【特徴】
  1. ガウス フィルタリングでは、カーネルの幅と高さは異なっていてもかまいませんが、両方とも奇数である必要があります。
  2. 平均フィルタリングの場合、その近傍の各ピクセルの重みは等しくなります。ガウス フィルタリングでは、中心点の重み値が増加し、中心点から遠い点の重み値が減少します。これに基づいて、近傍の各ピクセル値の異なる重み値の合計が計算されます。 。
  3. ガウス カーネルは、同じく 2 次元のフィルタ行列であるコンボリューション カーネルとみなすことができます。違いは、ガウス カーネルが通常のコンボリューション カーネルに基づいて重み付けされることです (重み行列はガウス関数によって計算されます)。 ）。
• 【メリット】 画像のノイズや詳細情報を除去しつつ、画像の主な特徴（画像の輪郭やエッジなど）を保持し、ガウスフィルターのぼけ具合をサイズや標準偏差を調整することで制御できるガウスカーネルの。
• 【デメリット】 ガウスフィルターは畳み込み演算が必要なため、計算量が高くなります。
• 【適用範囲】ガウスノイズの除去

計算プロセス

ガウス フィルタリングは通常 2 つの方法で実装され、1 つは離散化ウィンドウ スライディング ウィンドウ畳み込み、もう 1 つはフーリエ変換によるものです。以下は、離散化ウィンドウ スライディング ウィンドウ畳み込みを使用して実装されたガウス フィルター処理です。
一般的に使用されるガウス テンプレートは次のとおりです。上記のパラメータはガウス関数を通じて計算されます。ガウス フィルタリングに関するいくつかの理解を参照してください。
具体的な操作は次のとおりです。テンプレート (またはコンボリューション、マスク) を使用して画像内の各ピクセルをスキャンし、テンプレートによって決定された近傍のピクセルの加重平均グレー値を使用して、テンプレートの中心ピクセルの値を置き換えます。 。詳細については、ガウス フィルタリング
を参照してください。

Pythonの実装

import numpy as np
import cv2

x = np.array([[1, 3, 2, 4, 6, 5, 7]])
# (3,3)为滤波器的大小；1.3为滤波器的标准差，如果标准差这个参数设置为0，则程序会根据滤波器大小自动计算得到标准差。
pic = cv2.GaussianBlur(x, (1, 3), 1.3, 1.3)
print(pic)

メディアンフィルター

非線形フィルタリング。ウィンドウの中間点となる画像マトリクス内のピクセルをターゲットとします。

• [利点] インパルスノイズの平滑化に非常に効果的であると同時に、画像の鋭いエッジを保護し、適切な点を選択して汚れた点の値を置き換えることができるため、処理効果は良好です。
• 【デメリット】画像の不連続性が生じやすい、ソート演算のため平均値フィルタに比べて画像サイズが大きいと処理が遅くなる。
• [適用範囲] ごま塩ノイズ、加算ガウスノイズなどのランダムノイズを除去します。
• 【不適範囲】 継続的なノイズには不向きです。

計算プロセス

特定のウィンドウ サイズについて、ウィンドウ内の値を並べ替え、中央の値をウィンドウの中心値として使用します。たとえば、「3」と入力すると、$3\times 3$ウィンドウは、指定された画像マトリックスのピクセル値を再計算します。[注: フィルタリングに参加するピクセルはウィンドウの中心点と端のピクセルです ($3\times ウィンドウの中心点3$ ) は計算されません。】

下の図は$6\times 6\; 枚の$画像マトリックスにメディアン フィルタリングが適用され、青色の値がスライディング ウィンドウ、赤色の値がフィルタリングされた値です。図に示すように、エッジ ピクセルは計算に関与せず、実際に計算に関与するピクセル値はウィンドウの中心点になります。

Pythonの実装

import scipy.signal as ss
x = [1, 3, 2, 4, 6, 5, 7]
pic = ss.medfilt(x, 3)
print(pic)

画像エッジ検出

画像エッジとは、一般に画像の階調変化率が最も大きい位置を指す。主な理由は次のとおりです。

1. 画像のグレー レベルは、表面の法線方向に不連続に変化します。

2. 画像内のオブジェクトの空間深度は一貫していません。

3. 滑らかな表面では色が不均一になります。

4. 画像内のオブジェクトの光と影

エッジ検出とは、画像からエッジ点とエッジ セグメントを検出し、エッジの方向を記述するプロセスを指します。

ロバートオペレーター

一次微分演算子は、斜め偏差の勾配計算方法であり、勾配の大きさはエッジの強さを表し、勾配の方向はエッジの方向に対して垂直（直交）である。

• 【メリット】 計算が簡単でエッジの位置決めが正確です。
• 【デメリット】ノイズに敏感
• 【適用範囲】 急峻な（エッジが目立つ）低ノイズな画像の処理が得意
• -【対象外】ノイズの多い画像

計算プロセス

x 方向のロバート演算子勾配ウィンドウ:
$$G_{}=\left[\begin{array}{cc}1& 0\\ & -\end{array}\right]$$
y 方向のロバート演算子の勾配ウィンドウ:
$$G_{}=\left[\begin{array}{cc}0& 1\\ -& \end{array}\right]$$
画像行列内のピクセルの勾配合計 (最大絶対値または 2 つの平方根):
$$G=|G{\_}_{}|+|G{\_}_{}|$$

上記の 2 つのグラデーション ウィンドウとその加算方法を取得した後、それらを画像マトリックスに適用します。画像マトリックスの最後の行と最後の最初の列は計算に関与せず、直接 0 に設定されることに注意してください。上記の計算の考え方は、$({\times }_{\frac{}{2}}、y_{\frac{}{2}})$グラデーション。

Pythonの実装

import numpy as np

def Roberts(img_arr,r_x, r_y):
    w, h = img_arr.shape
    res = np.zeros((w, h))  # 取一个和原图一样大小的图片，并在里面填充0
    for x in range(w-2):
        for y in range(h-2):
            sub = img_arr[x:x + 2, y:y + 2]
            roberts_x = np.array(r_x)
            roberts_y = np.array(r_y)
            var_x =sum(sum(sub * roberts_x))#矩阵相乘，查看公式，我们要得到是一个值，所以对它进行两次相加
            var_y = sum(sum(sub * roberts_y))

            var = abs(var_x) + abs(var_y)

            res[x][y] = var#把var值放在x行y列位置上
    return res
pic_arr = np.array([[0, 0, 0, 0], [0, 10, 10, 0], [0, 10, 10, 0], [0, 0, 0, 0]])
r_x = [[1, 0], [0, -1]]
r_y = [[1, 1], [-1, 0]]
pic = Roberts(pic_arr, r_x, r_y)
print(pic)

画像処理

腐食オペレーター

画像マトリクスの各ピクセルに対して計算されます。

• 特徴: 画像の腐食はハイライト部分と比較され、対応する 2 値画像は白い部分と比較されます。一般的に、腐食とは、白い部分が元の形で縮小し、黒い部分が膨張し、腐食することを指します。拡張操作。
• 【適用範囲】

  1. ノイズを除去する

  2. 画像の分割と結合

  3. 極大値と極小値を見つける (画像に対する数学的畳み込み演算)

  4. 画像のグラデーションを見つける

計算プロセス

ピクチャ行列 (0/1 行列) とテンプレート行列 (コンボリューション カーネルとも呼ばれる、0/1 値) を入力します。テンプレート マトリックスで「中心」とマークされたピクセルを参照として使用し、画像マトリックスでピクセルごとに変換します。[テンプレート マトリックス内の値 1 を持つピクセル] と [画像マトリックス内の対応するサイズのピクセル] の「AND」をとり、結果の最小値を現在のピクセルに割り当てます。画像行列の値 1 の形状とテンプレート行列の値 1 の形状が同じ部分のみが保持されます。
たとえば、下の図では、B はテンプレート行列 (B の「原点」は中心点を意味します)、X は画像行列、XB は腐食後の結果を意味します。この結果は、B の黒い部分と X の黒い部分の「AND」演算とみなすことができます。

Pythonの実装

Hog (勾配方向のヒストグラム) 機能

計算プロセス:

1. 画像の前処理: 画像をグレースケールに変換し、ピクセル値を正規化します。画像に強い反射などの不安定な明るさがある場合は、照明の正規化などの処理が必要です。

2. 勾配と方向のヒストグラムを計算します。画像に対して畳み込み演算を実行して勾配の大きさと方向を取得し、画像をいくつかの小さなブロック (たとえば、8 × 8 8\ $8\times ８つ$の小ブロック）を用いて、各小ブロック内の勾配方向をカウントし、小ブロック内の勾配方向ヒストグラムを求める。

3. 正規化: 照明や影などの要因の影響を避けるために、各小さなブロック内の勾配方向のヒストグラムを正規化します。

4. スプライシング: すべての小さなブロックの正規化されたヒストグラムを、HOG 特徴ベクトルと呼ばれる大きなベクトルに結合します。

ホッグの特徴寸法計算式

例:
指定された解像度$H\times W=100\times 100$の画像の場合、セルのピクセル サイズは$セル\_{\_}_{私は}=8\times 8$、各セルのヒストグラム ビンの数$ビン\_=9$ 、 4 × 4 4\times4ごと$4\times 4つの$セルが$ブロック、$スキャン ステップ サイズは$8$ 8$です$$8$ピクセル。
次に、グラフの Hog 特徴の次元は次のように計算されます。

1. $ブロック\_\_{\_}_{私は}=(4\times 8)\times (4\times 8)=32\times 32$
2. ブロック$ブロック\_\_{\_}_{ストライド\_\_\_\_}=セル\_{\_}_{私は}=8$、
3. $ブロック\_\_{\_}_{H/}=\frac{\left(H\right(W)-ブロック\_\_{\_}_{私は}}{ブロック\_\_{\_}_{ストライド\_\_\_\_}}+1=9$
4. $ブロック\_\_{\_}_{番号\_}=9\times 9=81$
5. 特徴の次元 =$ビン\_\times ブロック\_\_{\_}_{番号\_}\times 各ブロックにはセルの数が含まれます=9\times 81\times 16=11664$

上記の計算方法により、$N$次元の HOG 固有ベクトル。

Pythonの実装

import cv2
import numpy as np

gray_pic = np.ones(shape=(32, 64), dtype=np.uint8)

# 为HOG描述符指定参数

# 像素大小（以像素为单位）（宽度，高度）。 它必须小于检测窗口的大小，
# 并且必须进行选择，以使生成的块大小小于检测窗口的大小。
cell_size = (4, 4)

# 每个方向（x，y）上每个块的单元数。 必须选择为使结果
# 块大小小于检测窗口
num_cells_per_block = (2, 2)

# 块大小（以像素为单位）（宽度，高度）。必须是“单元格大小”的整数倍。
# 块大小必须小于检测窗口。
block_size = (num_cells_per_block[0] * cell_size[0],
              num_cells_per_block[1] * cell_size[1])

# 计算在x和y方向上适合我们图像的像素数
x_cells = gray_pic.shape[1] // cell_size[0]
y_cells = gray_pic.shape[0] // cell_size[1]

# 块之间的水平距离，以像元大小为单位。 必须为整数，并且必须
# 将其设置为（x_cells-num_cells_per_block [0]）/ h_stride =整数。
h_stride = 1

# 块之间的垂直距离，以像元大小为单位。 必须为整数，并且必须
# 将其设置为 (y_cells - num_cells_per_block[1]) / v_stride = integer.
v_stride = 1

# 块跨距（以像素为单位）（水平，垂直）。 必须是像素大小的整数倍。
block_stride = (cell_size[0] * h_stride, cell_size[1] * v_stride)

# 梯度定向箱的数量
num_bins = 9


# 指定检测窗口（感兴趣区域）的大小，以像素（宽度，高度）为单位。
# 它必须是“单元格大小”的整数倍，并且必须覆盖整个图像。
# 由于检测窗口必须是像元大小的整数倍，具体取决于您像元的大小，
# 因此生成的检测窗可能会比图像小一些。
# 完全可行
win_size = (x_cells * cell_size[0], y_cells * cell_size[1])

# 输出灰度图像的形状以供参考
print('\nThe gray scale image has shape: ', gray_pic.shape)
print()

# 输出HOG描述符的参数
print('HOG Descriptor Parameters:\n')
print('Window Size:', win_size)
print('Cell Size:', cell_size)
print('Block Size:', block_size)
print('Block Stride:', block_stride)
print('Number of Bins:', num_bins)
print()

# 使用上面定义的变量设置HOG描述符的参数
hog = cv2.HOGDescriptor(win_size, block_size, block_stride, cell_size, num_bins)

# 计算灰度图像的HOG描述符
hog_descriptor = hog.compute(gray_pic)
print(hog_descriptor.shape)

通常のコンボリューション/プーリングの出力サイズと受容野の計算式

通常の畳み込みの出力サイズ

入力サイズを$W\times H$、畳み込みカーネルのサイズは$k\times k$ステップ サイズは$S$パッドは$P$
出力サイズ—H=$\frac{H-k+2}{S}+1出力$
サイズ—W=$\frac{W-k+2}{S}+1$

プーリング操作の出力サイズ

入力サイズを$W\times H$、プーリング カーネル サイズは$k\times k$ステップ サイズは$S$
出力サイズ—H=$\frac{H-}{S}+1出力$
サイズ—W=$\frac{W-}{S}+1$

畳み込みの受容野

これは深いところから浅いところへのプロセスです。2 層の畳み込み (k=3、s=2、p=1) の後、 128 × 128 128\times128が得られることが知られています。$128\times 128$特徴マップ。この特徴マップの受容野を尋ねてから、受容野を逆に計算してください:
$$R{F}_{N-}=f(R{F}_{}、カーネル、\_\_\_\_ストライド）\_\_\_\_\_=(RF{\_}_{}-1)\times ストライド\_\_\_\_\_+kernel上記の例:($$
((1-1)*2+3)-1)*2+3=7

さまざまな畳み込みの計算量とパラメータ

入力特徴マップの形状を$H_{}\times W_{}\times C_{}$、畳み込みカーネルのサイズは$k\times k\times C_{で}$、出力特徴マップの形状は$H_{}\times W_{}\times C_{あなたは}$。

従来のコンボリューションの計算量とパラメータ

計算量= $k\times k\times C_{}\times H_{}\times W_{}\times C_{あなたは}$
参数= $k\times k\times C_{}\times C_{あなたは}$

グループ化された畳み込み

計算量= $k\times k\times C_{}\times H_{}\times W_{}\times C_{あなたは}\times \frac{}{g}$
参数= $k\times k\times C_{}\times C_{あなたは}\times \frac{}{g}$

深度分解コンボリューションの計算量とパラメータ

計算量= $k\times k\times H_{}\times W_{}\times C_{}+H_{}\times W_{}\times C_{あなたは}\times C_{}$
参数= $k\times k\times C_{}+C_{}\times C_{あなたは}$

$\frac{深さ方向に分解可能な畳み込みの計算}{従来の畳み込み演算の計算量}=\frac{}{C_{あなたは}}+\frac{}{k^2}$

バッチノーム層の操作

入力：$バツ=[{\times }^{\left(1\right)}、{バツ}^{\left(2\right)}、...、{バツ}^{\left(m\right)}]$，その中${バツ}^{\left(私\right)}\in R^{n\; は}$ii 番目の入力$私は$サンプルを作ります。

平均を計算します: $メートル=\frac{}{メートル}{\sum }_{i=1}^{}{バツ}^{\left(私\right)}$

解: $p^2=\frac{}{メートル}{\sum }_{i=1}^{}({\times }^{\left(私\right)}-メートル{）}^2$

形式: ${\widehat{バツ}}^{\left(私\right)}=\frac{{バツ}^{\left(i\right)}-}{\sqrt{p^2+ϵ}}$

ここで、$ϵ$は非常に小さい数なので、分母$0$。

スケーリングとオフセット: $y^{\left(私\right)}=c{\widehat{バツ}}^{\left(私\right)}+\beta どこ\gamma$
\$c$和$\beta \; は、$正規化された結果をスケールおよびオフセットするために使用される学習可能なパラメーターです。

トレーニング中に、各ミニバッチの平均と分散が計算され、入力データの正規化に使用されます。テスト中、すべてのトレーニング サンプルの平均と分散が正規化に使用されます。

Batchnorm 層の学習可能なパラメータ

1. $\gamma$ : スケーリング パラメーター。ネットワークの表現力を高めるために正規化された特徴をスケーリングするために使用されます。

2. $\beta$ : オフセット パラメータ。正規化された特徴をオフセットしてネットワークの表現力を高めるために使用されます。

これら 2 つのパラメーターは、バックプロパゲーション アルゴリズムを通じてトレーニングされます。推論フェーズ中、これらのパラメーターの値は、固定されたフィーチャのスケールとオフセットに使用されるため、変更されません。