一、为什么使用图像预处理
1、图像的亮度、对比度等属性对图像的影响是非常大的，相同物体在不同的亮度，对比度下差别非常大。在图像识别的问题中，我们经常会遇到阴影、强曝光之类的图片，这些因素都不应该影响最后的识别结果，所以我们要对图像进行预处理，使得得到的神经网络模型尽可能小的被无关因素所影响。
2、在我们遇到图像样本过少，或者不均衡时，也可以使用图像预处理，增加样本数量。
3、有时物体拍摄的角度不同，也会有很大的差异，所以刻意将图像进行随机的翻转，可以提高模型健壮性。
二、图像处理函数
1、读取图像的原始数据。
图像在存储是并不是直接记录这些矩阵中的数字，而是记录经过压缩编码之后的结果，所以要将一个图片还原成三维矩阵，需要一个解码的过程。
image_raw_data = tf.gfile.FastGFile('images/image_0043.jpg', 'rb').read() img_data = tf.image.decode_jpeg(image_raw_data)
2、图像大小调整
图像大小调整有两种方法，
第一种是通过算法使得新的图像尽量保存原始图像上的所有信息。
第二种是对图像进行裁剪或者填充，只获得感兴趣区域。
TensorFlow提供了四种缩放图像的算法，注意要加入截断函数，防止数值越界。
#重新调整图片大小 def resize(image_data): with tf.Session() as sess: image_data = tf.image.convert_image_dtype(image_data, dtype=tf.float32) methods=['Bilinear Interpolation', 'Nearest neighbor interpolation', 'Bicubic interpolation', 'Area interpolation'] plt.subplot(231), plt.imshow(image_data.eval()), plt.title('original') step = 231 for i in range(4): step += 1 resized = tf.image.resize_images(image_data, [300, 300], method=i) resized = tf.clip_by_value(resized, 0.0, 1.0) plt.subplot(step),plt.imshow(resized.eval()), plt.title(methods[i]) plt.show()
显示图像如下：
剪裁和填充图片，通过tf.image.resize_image_with_crop_or_pad函数实现，第一参数是输入图像，后面是裁剪以后的大小。如果小于输入图像，那么就裁剪输入图像居中部分的大小；如果大于输入图像，就填充输入图像四周。
#裁剪和填充图片 def crop_and_pad(image_data): with tf.Session() as sess: #resize_image_with_crop_or_pad 如果输入图像尺寸大于输出图像，截取原始图像中居中的部分 #如果输入小于输出，会在原始图像四周填充全0背景 croped_1 = tf.image.resize_image_with_crop_or_pad(image_data, 300, 300) croped_2 = tf.image.resize_image_with_crop_or_pad(image_data, 1000, 1000) padded = tf.image.resize_image_with_crop_or_pad(image_data, 3000, 3000) show(croped_1) show(croped_2) show(padded)
也提供了按比例调整图像大小的函数，tf.image.ecntral_crop，
#截取中间50%的图片
def central_crop(image_data):
with tf.Session()
as
sess: central_croped = tf.image.central_crop(image_data,
0.5) plt.imshow(central_croped.eval()) plt.show()
还有固定尺寸的裁剪，第二三个参数是起始点的坐标，第四五个参数是宽高
#固定边框提取 def bounding_box(image_raw_data): with tf.Session() as sess: image_data = tf.image.decode_jpeg(image_raw_data) # crop_to_bounding_box(image, offset_height, offset_width, target_height,arget_width) #第二个第三个参数是起始点的坐标， 四五是宽高 box_croped = tf.image.crop_to_bounding_box(image_data, 100, 100, 300, 300) # 二三是原始图像在目标图像上所在的起始坐标，四五是目标图像的大小 box_padded = tf.image.pad_to_bounding_box(image_data,100, 100, 3000, 3000) plt.imshow(box_croped.eval()) plt.show() plt.imshow(box_padded.eval()) plt.show()
3、图像翻转
#图像翻转 def flip(image_raw_data): with tf.Session() as sess: image_data = tf.image.decode_jpeg(image_raw_data) #上下翻转 flipped_up = tf.image.flip_up_down(image_data) #左右翻转 flipped_left = tf.image.flip_left_right(image_data) #对角翻转 transposed = tf.image.transpose_image(image_data) plt.imshow(flipped_up.eval()) plt.show() plt.imshow(flipped_left.eval()) plt.show() plt.imshow(transposed.eval()) plt.show() #以50%的概率上下翻转图像 flipped_up_random = tf.image.random_flip_up_down(image_data) #以50%的概率左右翻转图像 flipped_left_random = tf.image.random_flip_left_right(image_data) plt.imshow(flipped_up_random.eval()) plt.show() plt.imshow(flipped_left_random.eval()) plt.show()
4、图像色彩调整
#图像亮度调整 def brightness(image_raw_data): with tf.Session() as sess: image_data = tf.image.decode_jpeg(image_raw_data) #将图像的亮度-0.5 adjusted = tf.image.adjust_brightness(image_data,-0.5) #为了防止像素超出，要进行截断处理 # adjusted = tf.clip_by_value(adjusted, 0.0, 1.0) plt.imshow(adjusted.eval()) plt.show() #将图像亮度+0.5 adjusted = tf.image.adjust_brightness(image_data, 0.5) plt.imshow(adjusted.eval()) plt.show() #在【max_delta, max_delax】的范围内随机调整 adjusted = tf.image.random_brightness(image_data,0.5) plt.imshow(adjusted.eval()) plt.show()
图像对比度
#调整图像的对比度 def contrast(image_raw_data): with tf.Session() as sess: image_data = tf.image.decode_jpeg(image_raw_data) #将图像的对比度减少到0.5 adjusted = tf.image.adjust_contrast(image_data, 0.5) plt.imshow(adjusted.eval()) plt.show() #将图像的对比度增加5倍 adjusted = tf.image.adjust_contrast(image_data, 5) plt.imshow(adjusted.eval()) plt.show() #在【lower, upper】之间随机调整 adjusted = tf.image.random_contrast(image_data, 0.5, 5) plt.imshow(adjusted.eval()) plt.show()
图像色相
#调整图像色相 def hue(image_data): with tf.Session() as sess: plt.subplot(231),plt.imshow(image_data.eval()),plt.title('original') #色相加0.1 adjusted = tf.image.adjust_hue(image_data, 0.1) plt.subplot(232),plt.imshow(adjusted.eval()),plt.title('+0.1') adjusted = tf.image.adjust_hue(image_data, 0.3) plt.subplot(233), plt.imshow(adjusted.eval()), plt.title('+0.3') adjusted = tf.image.adjust_hue(image_data, 0.6) plt.subplot(234), plt.imshow(adjusted.eval()), plt.title('+0.6') adjusted = tf.image.adjust_hue(image_data, 0.9) plt.subplot(235), plt.imshow(adjusted.eval()), plt.title('+0.9') plt.show() #max_delta 的取值在[0， 0.5]之间 adjusted = tf.image.random_hue(image_data, 0.5) plt.subplot(236), plt.imshow(adjusted.eval()), plt.title('random') plt.show()
图像饱和度
#调整饱和度 def saturation(image_data): with tf.Session() as sess: plt.subplot(221), plt.imshow(image_data.eval()), plt.title('original') #图像饱和度减5 adjusted = tf.image.adjust_saturation(image_data, -5) plt.subplot(222), plt.imshow(adjusted.eval()), plt.title('-5') #图像饱和度加5 adjusted = tf.image.adjust_saturation(image_data, 5) plt.subplot(223), plt.imshow(adjusted.eval()), plt.title('5') #在[lower，upper]的范围内随机调整图像的饱和度 lower must be non-negative adjusted = tf.image.random_saturation(image_data, 0., 5.) plt.subplot(224), plt.imshow(adjusted.eval()), plt.title('random') plt.show()
图片gamma校正
#图像gamma校正 def mamma(image_data): with tf.Session() as sess: image_data = tf.image.convert_image_dtype(image_data, dtype=tf.float32) adjusted = tf.image.adjust_gamma(image_data, gain=1.0, gamma=4.0) plt.imshow(adjusted.eval()) plt.show()
图像标准化
#图像标准化 def standardization(image_data): with tf.Session() as sess: print(image_data) h,w = tf.shape(image_data).eval()[:2] #将输入图像 reshaped = tf.reshape(image_data.eval(), [h*w, -1]) print(reshaped.eval()) plt.subplot(211),plt.hist(reshaped.eval()),plt.title('original') #图像标准化 adjusted = tf.image.per_image_standardization(image_data) adjusted_reshaped = tf.reshape(adjusted.eval(), [h*w, -1]) plt.subplot(212), plt.hist(adjusted_reshaped.eval()), plt.title('adjusted') plt.show()
图像预处理完整样例
import tensorflow as tf import numpy as np import matplotlib.pyplot as plt def distort_color(image, color_orderding=0): if color_orderding == 0: image = tf.image.random_brightness(image, max_delta= 32. / 255.) image = tf.image.random_saturation(image, lower=0.5, upper=1.5) image = tf.image.random_hue(image, max_delta=0.2) image = tf.image.random_contrast(image, lower=0.5, upper=1.5) elif color_orderding == 1: image = tf.image.random_saturation(image, lower=0.5, upper=1.5) image = tf.image.random_brightness(image, max_delta= 32. /255.) image = tf.image.random_contrast(image, lower=0.5, upper=1.5) image = tf.image.random_hue(image, max_delta=0.2) elif color_orderding == 2: image = tf.image.random_contrast(image, lower=0.5, upper=1.5) image = tf.image.random_saturation(image, lower=0.5, upper=1.5) image = tf.image.random_brightness(image, max_delta=32. / 255.) image = tf.image.random_hue(image, max_delta=0.2) elif color_orderding == 3: image = tf.image.random_hue(image, max_delta=0.2) image = tf.image.random_contrast(image, lower=0.5, upper=1.5) image = tf.image.random_saturation(image, lower=0.5, upper=1.5) image = tf.image.random_brightness(image, max_delta=32. / 255.) else: image = tf.image.random_hue(image, max_delta=0.2) image = tf.image.random_saturation(image, lower=0.5, upper=1.5) image = tf.image.random_contrast(image, lower=0.5, upper=1.5) image = tf.image.random_brightness(image, max_delta=32. / 255.) return tf.clip_by_value(image, 0.0, 1.0) # 进行像素截断，防止越界 def perprocess_for_train(image, height, width, bbox): if bbox is None: bbox = tf.constant([0.0, 0.0, 1.0, 1.0], dtype=tf.float32, shape=[1, 1, 4]) #转换图像的张量类型 if image.dtype != tf.float32: image = tf.image.convert_image_dtype(image, dtype=tf.float32) # 随机截取图像，减小需要关注物体大小对图像识别算法的影响 bbox_begin, bbox_size, _ = tf.image.sample_distorted_bounding_box(tf.shape(image),bounding_boxes=bbox) distorted_image = tf.slice(image, bbox_begin, bbox_size) #将随机截取的图像调整为神经网络输入层的大小 distorted_image = tf.image.resize_images(distorted_image, [height, width], method=np.random.randint(4)) #随机左右翻转图片 distorted_image = tf.image.random_flip_left_right(distorted_image) #使用一种随机的顺序调整颜色图像 distorted_image = distort_color(distorted_image, np.random.randint(5)) return distorted_image image_raw_data = tf.gfile.FastGFile('images/image_0043.jpg', 'rb').read() with tf.Session() as sess: image_data = tf.image.decode_jpeg(image_raw_data) boxes = tf.constant([[[0.05, 0.05, 0.9, 0.7], [0.34, 0.47, 0.5, 0.56]]]) # print(image_data) #运行6次获得6种不同的图像 step = 230 for i in range(6): result = perprocess_for_train(image_data,300, 300, boxes) step = step+1 plt.subplot(step) plt.imshow(result.eval()) plt.show()
