最近在整理模型加速的问题，使用到了GPU，但是有时候发现GPU的速度尽然比CPU还低，后来查找一些相关的资料后发现可能是由于两方面原因造成的：1. GPU的计算能力不行（毕竟对于笔记本自带的GPU而言其性能并不一定比CPU强）；2. GPU和CPU之间存在通讯问题，即数据的读取要在CPU中进行，读取后的数据再送入GPU中进行处理。
针对第2个问题，考虑以队列的方式来解决，具体原因为：当数据在队列中传入的时候可以采用并行的方式进行，即当图在处理第一张图片的时候，第二张图片已经传进去了，这样在处理第二张的时候就不用考虑CPU传入GPU的时间限制。
具体涉及的代码如下：
filename = os.listdir(args.input)
filelist = [os.path.join(args.input, file) for file in filename]
# 构建文件名队列
file_q = tf.train.string_input_producer(filelist, shuffle=False)
# 构建读取器
reader = tf.WholeFileReader()
# 读取内容
key, value = reader.read(file_q)
# 构建解码器
image = tf.image.decode_jpeg(value)
# print(image)
# 统一图片大小 设置长宽
resize_image = tf.image.resize_images(image, [height, width], method=1)
# 图片进行归一化
float_image = tf.image.per_image_standardization(resize_image)
# 指定通道大小
float_image.set_shape([height, width, 3])
#float_image = tf.cast(float_image, tf.float32)
# 构建批量处理管道
image_batch, key_batch = tf.train.batch([float_image, key], batch_size=1, num_threads=1, capacity=100,
enqueue_many=False)
with tf.Session() as sess:
pnet, rnet, onet = detect_face.create_mtcnn(sess, None)
# 构建线程协调器
coord = tf.train.Coordinator()
# 开启线程
threads = tf.train.start_queue_runners(sess, coord=coord)
image_batch, key_batch = sess.run([image_batch, key_batch])
print(sess.run(image).shape)
print(sess.run(tf.image.extract_jpeg_shape(value)))
for i in range(image_batch.shape[0]):
# print(key_batch[i])
image = image_batch[i, :, :, :]
print(image.shape)
print(image.dtype)
start = time.time()
bounding_boxes = detect_face.detect_face(image, minsize, pnet, rnet, onet, threshold, factor)
end = time.time()
nrof_faces = bounding_boxes.shape[0]
print(end-start)
print('Total %d face(s) detected' % nrof_faces)
coord.request_stop()
coord.join(threads)
其中涉及到以几个函数：
1.tf.train.string_input_producer: 该函数默认的是输入一个string的列表，然后该string列表将会产生一个队列。默认的情况是乱序产生的，当设置shuffle=False时，会以正常顺序读取数据。
2. tf.image.decode_jpeg：将图片解码成一个张量。通过sess.run可以输出该张量的值
3. tf.train.batch：对数据进行分批处理，其中第一个参数表示需要分批的张量，可以是一个张量的列表，表示对每个张量都需要进行分批处理，产生对应的批数据个数。
4. image_batch, key_batch = sess.run([image_batch, key_batch])： 该指令尤为重要，因为分批处理后的数据只是张量的形式，如果没有sess.run无法运行。所以该指令是把数据变为可以在后续程序中使用的具体的数组。另外使用key和value的目的是为了可以知道自己处理的是哪张图片，此时key和value是一一对应的。
注意：如果分开则情况不一样，例如：image_batch = sess.run(image_batch)
key_batch = sess.run(key_batch)
此时得出的key和value并不对应。主要是因为第一次执行sess.run时对队列进行了一遍处理，当在执行一次时，队列的指针指在第一次处理后的位置继续进行。所以不对应。（key,value都是在队列中产生的）