1.画像スタイル変換
畳み込みネットワークの各レイヤーのアクティベーション値は、分類子と見なすことができます。複数の分類子がこのレイヤーで画像の抽象的な表現を形成し、レイヤーが深いほど抽象的な
コンテンツの特性：画像に含まれる特定の要素、画像がCNNに入力された後の特定のレイヤーのアクティベーション値
スタイル機能：絵要素の描画スタイル、各コンテンツ間の共通性、CNNネットワークのレイヤー内の画像のアクティベーション値間の相関関係
スタイル変換：1つの画像のコンテンツ特性に基づいて別の画像のスタイル特性を追加し、新しい画像を生成します。畳み込みモデルのトレーニングでは、固定画像を入力してネットワークのパラメーターを調整し、画像でネットワークをトレーニングする目的を達成します。特定のスタイルの画像を生成すると、既存のネットワークパラメータが固定され、画像がターゲットスタイルに変換されるように画像が調整されます。コンテンツスタイルが変換されると、コンボリューションネットワークのターゲットピクチャに出力されるコンテンツ特性が近くなるように、画像のピクセル値が調整されます。スタイル特徴の計算では、複数のニューロンの出力の内積をペアで合計してグラム行列を取得し、その差を平均してスタイル損失関数を取得します。
コンテンツ損失関数とスタイル損失関数に重みが乗算され、合計損失関数が得られます。最終的に生成されるグラフには、コンテンツ機能とスタイル機能の両方が含まれます
2. Vgg16を介して
2.1、事前トレーニングモデルの読み取り
Vgg16モデルを事前トレーニングして画像のスタイルを変換するには、最初にvgg16モデルパラメータを準備する必要があります。リンク：https://pan.baidu.com/s/1JW67Mi_SorAhX9b6GzL7nA抽出コード：aqzh
numpy.load（）を使用してパラメーターの内容をインポートして表示します。
import numpy as np
data=np.load('./vgg16_model.npy',allow_pickle=True,encoding='bytes')
# print(data.type())
data_dic=data.item()
# 查看网络层参数的键值
print(data_dic.keys())印刷キーの値は次のとおりです。さまざまな畳み込みと完全に接続されたレイヤーがあることがわかります。
dict_keys([b'conv5_1', b'fc6', b'conv5_3', b'conv5_2', b'fc8', b'fc7', b'conv4_1',
b'conv4_2', b'conv4_3', b'conv3_3', b'conv3_2', b'conv3_1', b'conv1_1', b'conv1_2',
b'conv2_2', b'conv2_1'])次に、各層の特定のパラメーターを確認します。data_dic[key]を使用して、キーの対応する層のパラメーターを取得できます。たとえば、畳み込み層1_1の重みwは、64出力チャネルに対応する3 3×3畳み込みカーネルであることがわかります。
# 查看卷积层1_1的参数w,b
w,b=data_dic[b'conv1_1']
print(w.shape,b.shape) # (3, 3, 3, 64) (64,)
# 查看全连接层的参数
w,b=data_dic[b'fc8']
print(w.shape,b.shape) # (4096, 1000) (1000,)2.2、VGGネットワークを構築する
VGGネットワークは、トレーニング済みのパラメーターをネットワークに入力することで構築できます。
事前トレーニング済みモデルファイルのパラメーターをクラス初期化関数のself.data_dicに読み取ります。
最初に、たたみ込み層を構築し、モデル内の対応するたたみ込み層パラメーターを読み取り、渡された各たたみ込み層の名前パラメーターを介してネットワークに入力します。たとえば、最初の畳み込み層の重み値とオフセット値を読み取り、name = 'conv1_1に渡すと、data_dic [name] [0]は重み値を取得でき、data_dic [name] [1]はオフセット値のバイアスを取得できます。tf.constantを使用して定数を作成し、たたみ込み演算を実行して、オフセット項を追加し、アクティベーション関数の後に出力します。
次に、プーリング操作が実装されます。プーリングはパラメータを必要としないため、最大のプーリング操作は入力に対して直接実行でき、出力は
次に、展開層を介して、たたみ込みプールデータは4次元ベクトル[batch_size、image_width、image_height、chanel]であるため、最後の3次元を展開し、最後の3次元を乗算して、tf.reshape（）で展開する必要があります。
最後に、結果は完全に接続されたレイヤーを通過する必要があります。その実装は畳み込みレイヤーに似ています。重みとオフセットパラメーターを読み取った後、結果は完全に接続されて出力されます。
class VGGNet:
def __init__(self, data_dir):
data = np.load(data_dir, allow_pickle=True, encoding='bytes')
self.data_dic = data.item()
def conv_layer(self, x, name):
# 实现卷积操作
with tf.name_scope(name):
# 从模型文件中读取各卷积层的参数值
weight = tf.constant(self.data_dic[name][0], name='conv')
bias = tf.constant(self.data_dic[name][1], name='bias')
# 进行卷积操作
y = tf.nn.conv2d(x, weight, [1, 1, 1, 1], padding='SAME')
y = tf.nn.bias_add(y, bias)
return tf.nn.relu(y)
def pooling_layer(self, x, name):
# 实现池化操作
return tf.nn.max_pool(x, ksize=[1, 2, 2, 1], strides=[1, 2, 2, 1], padding='SAME', name=name)
def flatten_layer(self, x, name):
# 实现展开层
with tf.name_scope(name):
# x_shape->[batch_size,image_width,image_height,chanel]
x_shape = x.get_shape().as_list()
dimension = 1
# 计算x的最后三个维度积
for d in x_shape[1:]:
dimension *= d
output = tf.reshape(x, [-1, dimension])
return output
def fc_layer(self, x, name, activation=tf.nn.relu):
# 实现全连接层
with tf.name_scope(name):
# 从模型文件中读取各全连接层的参数值
weight = tf.constant(self.data_dic[name][0], name='fc')
bias = tf.constant(self.data_dic[name][1], name='bias')
# 进行全连接操作
y = tf.matmul(x, weight)
y = tf.nn.bias_add(y, bias)
if activation==None:
return y
else:
return tf.nn.relu(y)self.build（）関数を使用してVgg16ネットワークの構築を実現します。データを入力した後、まず正規化処理を実行し、入力RGBデータをR、G、Bチャネルに分割してから、3つのチャネルの1つを減算する必要があります。固定値最後に、3つのチャネルがB、G、Rの順に新しいデータに再接続されます。
次に、上記の構築関数によってVGGネットワークが構築され、5層の畳み込みプールネットワーク、展開層、および3つの完全に接続された層のパラメーターが各層に順番に読み込まれ、ネットワークが構築されて、最終的にsoftmaxによって出力されます
def build(self,x_rgb):
s_time=time.time()
# 归一化处理，在第四维上将输入的图片的三通道拆分
r,g,b=tf.split(x_rgb,[1,1,1],axis=3)
# 分别将三通道上减去特定值归一化后再按bgr顺序拼起来
VGG_MEAN = [103.939, 116.779, 123.68]
x_bgr=tf.concat(
[b-VGG_MEAN[0],
g-VGG_MEAN[1],
r-VGG_MEAN[2]],
axis=3
)
# 判别拼接起来的数据是否符合期望，符合再继续往下执行
assert x_bgr.get_shape()[1:]==[668,668,3]
# 构建各个卷积、池化、全连接等层
self.conv1_1=self.conv_layer(x_bgr,b'conv1_1')
self.conv1_2=self.conv_layer(self.conv1_1,b'conv1_2')
self.pool1=self.pooling_layer(self.conv1_2,b'pool1')
self.conv2_1=self.conv_layer(self.pool1,b'conv2_1')
self.conv2_2=self.conv_layer(self.conv2_1,b'conv2_2')
self.pool2=self.pooling_layer(self.conv2_2,b'pool2')
self.conv3_1=self.conv_layer(self.pool2,b'conv3_1')
self.conv3_2=self.conv_layer(self.conv3_1,b'conv3_2')
self.conv3_3=self.conv_layer(self.conv3_2,b'conv3_3')
self.pool3=self.pooling_layer(self.conv3_3,b'pool3')
self.conv4_1 = self.conv_layer(self.pool3, b'conv4_1')
self.conv4_2 = self.conv_layer(self.conv4_1, b'conv4_2')
self.conv4_3 = self.conv_layer(self.conv4_2, b'conv4_3')
self.pool4 = self.pooling_layer(self.conv4_3, b'pool4')
self.conv5_1 = self.conv_layer(self.pool4, b'conv5_1')
self.conv5_2 = self.conv_layer(self.conv5_1, b'conv5_2')
self.conv5_3 = self.conv_layer(self.conv5_2, b'conv5_3')
self.pool5 = self.pooling_layer(self.conv5_3, b'pool5')
self.flatten=self.flatten_layer(self.pool5,b'flatten')
self.fc6=self.fc_layer(self.flatten,b'fc6')
self.fc7 = self.fc_layer(self.fc6, b'fc7')
self.fc8 = self.fc_layer(self.fc7, b'fc8',activation=None)
self.prob=tf.nn.softmax(self.fc8,name='prob')
print('模型构建完成，用时%d秒'%(time.time()-s_time))2.3、画像スタイル変換
まず、ネットワークの入力と出力を定義する必要があります。ネットワークへの入力は、スタイル画像とコンテンツ画像で、どちらも668×668の3チャンネル画像です。まず、PILライブラリのImageオブジェクトを介してコンテンツ画像style_imgとスタイル画像content_imgを読み取り、それを配列に変換し、対応するプレースホルダーstyle_inとcontent_inを定義し、トレーニング中に画像を入力します。
ネットワークの出力は、結果画像が668×668の3チャネルであり、結果画像の配列res_outはランダム関数によって初期化されます。
上記で定義したVGGNetクラスを使用して、画像オブジェクトを作成し、ビルド操作を完了します。
vgg16_dir = './data/vgg16_model.npy'
style_img = './data/starry_night.jpg'
content_img = './data/city_night.jpg'
output_dir = './data'
def read_image(img):
img = Image.open(img)
img_np = np.array(img) # 将图片转化为[668,668,3]数组
img_np = np.asarray([img_np], ) # 转化为[1,668,668,3]的数组
return img_np
# 输入风格、内容图像数组
style_img = read_image(style_img)
content_img = read_image(content_img)
# 定义对应的输入图像的占位符
content_in = tf.placeholder(tf.float32, shape=[1, 668, 668, 3])
style_in = tf.placeholder(tf.float32, shape=[1, 668, 668, 3])
# 初始化输出的图像
initial_img = tf.truncated_normal((1, 668, 668, 3), mean=127.5, stddev=20)
res_out = tf.Variable(initial_img)
# 构建VGG网络对象
res_net = VGGNet(vgg16_dir)
style_net = VGGNet(vgg16_dir)
content_net = VGGNet(vgg16_dir)
res_net.build(res_out)
style_net.build(style_in)
content_net.build(content_in)次に、損失関数lossを定義する必要があります。
コンテンツの損失については、最初にコンテンツスタイル画像の畳み込み層と結果の画像が同じになるように選択します。たとえば、ここでは畳み込み層1_1と2_1が選択されています。次に、これらの2つのフィーチャレイヤーの最後の3つのチャネルが二乗され、平均が取得されます。これはコンテンツの損失です。
スタイルが失われる場合は、最初にスタイル画像のフィーチャレイヤーのグラムマトリックスと結果の画像を見つけ、次にグラムマトリックスの平均二乗差を見つける必要があります。
最後に、係数比に従って2つの損失関数を追加して、損失を取得します。
# 计算损失，分别需要计算内容损失和风格损失
# 提取内容图像的内容特征
content_features = [
content_net.conv1_2,
content_net.conv2_2
# content_net.conv2_2
]
# 对应结果图像提取相同层的内容特征
res_content = [
res_net.conv1_2,
res_net.conv2_2
# res_net.conv2_2
]
# 计算内容损失
content_loss = tf.zeros(1, tf.float32)
for c, r in zip(content_features, res_content):
content_loss += tf.reduce_mean((c - r) ** 2, [1, 2, 3])
# 计算风格损失的gram矩阵
def gram_matrix(x):
b, w, h, ch = x.get_shape().as_list()
features = tf.reshape(x, [b, w * h, ch])
# 对features矩阵作内积，再除以一个常数
gram = tf.matmul(features, features, adjoint_a=True) / tf.constant(w * h * ch, tf.float32)
return gram
# 对风格图像提取特征
style_features = [
# style_net.conv1_2
style_net.conv4_3
]
style_gram = [gram_matrix(feature) for feature in style_features]
# 提取结果图像对应层的风格特征
res_features = [
res_net.conv4_3
]
res_gram = [gram_matrix(feature) for feature in res_features]
# 计算风格损失
style_loss = tf.zeros(1, tf.float32)
for s, r in zip(style_gram, res_gram):
style_loss += tf.reduce_mean((s - r) ** 2, [1, 2])
# 模型内容、风格特征的系数
k_content = 0.1
k_style = 500
# 按照系数将两个损失值相加
loss = k_content * content_loss + k_style * style_loss次に、100ラウンドのトレーニングを開始し、プロセス内の総損失、コンテンツ損失、およびスタイル損失の値を印刷して表示します。そして、各ラウンドの生成された画像を指定されたディレクトリに出力します
# 进行训练
learning_steps = 100
learning_rate = 10
train_op = tf.train.AdamOptimizer(learning_rate).minimize(loss)
with tf.Session() as sess:
sess.run(tf.global_variables_initializer())
for i in range(learning_steps):
t_loss, c_loss, s_loss, _ = sess.run(
[loss, content_loss, style_loss, train_op],
feed_dict={content_in: content_img, style_in: style_img}
)
print('第%d轮训练，总损失：%.4f，内容损失：%.4f，风格损失：%.4f'
% (i + 1, t_loss[0], c_loss[0], s_loss[0]))
# 获取结果图像数组并保存
res_arr = res_out.eval(sess)[0]
res_arr = np.clip(res_arr, 0, 255) # 将结果数组中的值裁剪到0~255
res_arr = np.asarray(res_arr, np.uint8) # 将图片数组转化为uint8
img_path = os.path.join(output_dir, 'res_%d.jpg' % (i + 1))
# 图像数组转化为图片
res_img = Image.fromarray(res_arr)
res_img.save(img_path)実行結果は以下の通りで、内容写真、スタイル写真、12回のトレーニング、46回のトレーニング、100回の結果を順に見ることができます。
