目次
画像セグメンテーション モデルの確立は、コンピュータ ビジョンの分野で重要なタスクです。これにより、画像内のさまざまなオブジェクトや領域をセグメント化して、セマンティック セグメンテーションやインスタンス セグメンテーションなどのアプリケーションを実現できます。このブログでは、TensorFlow を使用して、画像内のさまざまなオブジェクトをセグメント化するセマンティック セグメンテーション モデルを実際に構築します。画像のセグメンテーション、データの準備、モデルの構築とトレーニング、そして最後に評価と視覚化の基本概念について説明します。
パート 1: 画像セグメンテーションの概要
画像のセグメンテーションは、画像内のピクセルを異なる領域またはオブジェクトに分割するタスクです。これには、セマンティック セグメンテーションとインスタンス セグメンテーションという 2 つの主なタイプがあります。
-
セマンティック セグメンテーション:画像内の各ピクセルをカテゴリに割り当てます。通常は、異なるオブジェクトや領域を表すために異なる色やラベルが付けられます。
-
インスタンス セグメンテーション:セマンティック セグメンテーションに似ていますが、同じカテゴリに属している場合でも、異なるオブジェクト インスタンスを区別します。
セマンティック セグメンテーションを例として、画像セグメンテーション モデルの構築方法を紹介します。
パート 2: データの準備
データセットの紹介
画像セグメンテーション モデルを構築するには、ラベル付き画像データセットが必要です。これらのラベルは通常、各ピクセルが属するカテゴリを指します。この記事では、サンプル データセットを使用します。
まず、データをロードして前処理する必要があります。
import tensorflow as tf
# 读取图像和标签数据
image_data = tf.keras.utils.get_file('images.zip', 'https://example.com/images.zip', extract=True)
label_data = tf.keras.utils.get_file('labels.zip', 'https://example.com/labels.zip', extract=True)
# 数据预处理
image_dataset = tf.keras.utils.image_dataset_from_directory(image_data)
label_dataset = tf.keras.utils.image_dataset_from_directory(label_data)
# 合并图像和标签数据
dataset = tf.data.Dataset.zip((image_dataset, label_dataset))
パート 3: データの処理と強化
画像データ処理
画像セグメンテーションタスクでは、データの処理と強化が非常に重要です。通常、データの多様性とモデルの一般化能力を高めるために、画像のサイズ変更、正規化、ランダムなトリミング、反転などの操作が必要になります。
# 图像预处理函数
def preprocess_image(image, label):
image = tf.image.resize(image, (256, 256))
image = tf.image.random_flip_left_right(image)
image = tf.image.random_brightness(image, max_delta=0.2)
image = tf.image.random_contrast(image, lower=0.5, upper=1.5)
image = tf.image.random_saturation(image, lower=0.5, upper=1.5)
image = tf.image.random_hue(image, max_delta=0.2)
image = image / 255.0 # 归一化
return image, label
# 应用图像预处理
dataset = dataset.map(preprocess_image)
パート 4: モデルの構築
セマンティック セグメンテーション モデルを構築する
TensorFlow を使用してセマンティック セグメンテーション モデルを構築します。通常は U-Net または同様のアーキテクチャを使用します。以下は、簡略化された U-Net モデルです。
import tensorflow as tf
# 定义U-Net模型
def unet_model(input_shape, num_classes):
inputs = tf.keras.layers.Input(shape=input_shape)
# 编码器（下采样）
conv1 = tf.keras.layers.Conv2D(64, 3, activation='relu', padding='same')(inputs)
conv1 = tf.keras.layers.Conv2D(64, 3, activation='relu', padding='same')(conv1)
pool1 = tf.keras.layers.MaxPooling2D()(conv1)
conv2 = tf.keras.layers.Conv2D(128, 3, activation='relu', padding='same')(pool1)
conv2 = tf.keras.layers.Conv2D(128, 3, activation='relu', padding='same')(conv2)
pool2 = tf.keras.layers.MaxPooling2D()(conv2)
# 解码器（上采样）
up1 = tf.keras.layers.UpSampling2D()(pool2)
up1 = tf.keras.layers.Concatenate()([conv1, up1])
conv3 = tf.keras.layers.Conv2D(64, 3, activation='relu', padding='same')(up1)
conv3 = tf.keras.layers.Conv2D(64, 3, activation='relu', padding='same')(conv3)
outputs = tf.keras.layers.Conv2D(num_classes, 1, activation='softmax')(conv3)
return tf.keras.Model(inputs=inputs, outputs=outputs)
# 创建模型
model = unet_model(input_shape=(256, 256, 3), num_classes=num_classes)
パート 5: モデルのトレーニング
これで、準備された画像データとモデルを使用してトレーニングできるようになりました。
# 定义损失函数和优化器
model.compile(optimizer='adam', loss='sparse_categorical_crossentropy', metrics=['accuracy'])
# 训练模型
model.fit(dataset, epochs=50)
パート 6: モデルの評価
トレーニングが完了したら、モデルのパフォーマンスを評価する必要があります。検証セットの評価メトリクスを使用してモデルの精度を測定できます。
# 准备验证数据集
validation_data = ...
# 评估模型
loss, accuracy = model.evaluate(validation_data)
print(f'Loss: {loss}, Accuracy: {accuracy}')
パート 7: 画像セグメンテーションの視覚化
最後に、モデルを使用して画像セグメンテーションを実行し、結果を視覚化できます。
import matplotlib.pyplot as plt
# 预测图像分割
image = ...
prediction = model.predict(image)
# 可视化结果
plt.figure(figsize=(12, 6))
plt.subplot(1, 2, 1)
plt.imshow(image[0])
plt.title('原始图像')
plt.subplot(1, 2, 2)
plt.imshow(prediction[0], cmap='gray')
plt.title('分割结果')
plt.show()