TensorFlow入门：ConfigProto和GPU

ConfigProto

tf.ConfigProto一般用在创建session的时候。用来对session进行参数配置

with tf.Session(config = tf.ConfigProto(...),...)

#tf.ConfigProto()的参数
log_device_placement=True : 是否打印设备分配日志
allow_soft_placement=True ： 如果你指定的设备不存在，允许TF自动分配设备
tf.ConfigProto(log_device_placement=True,allow_soft_placement=True)

控制GPU资源使用率

#allow growth
config = tf.ConfigProto()
config.gpu_options.allow_growth = True
session = tf.Session(config=config, ...)
# 使用allow_growth option，刚一开始分配少量的GPU容量，然后按需慢慢的增加，由于不会释放
#内存，所以会导致碎片

# per_process_gpu_memory_fraction
gpu_options=tf.GPUOptions(per_process_gpu_memory_fraction=0.7)
config=tf.ConfigProto(gpu_options=gpu_options)
session = tf.Session(config=config, ...)
#设置每个GPU应该拿出多少容量给进程使用，0.4代表 40%

控制使用哪块GPU

~/ CUDA_VISIBLE_DEVICES=0  python your.py#使用GPU0
~/ CUDA_VISIBLE_DEVICES=0,1 python your.py#使用GPU0,1
#注意单词不要打错

#或者在 程序开头
os.environ['CUDA_VISIBLE_DEVICES'] = '0' #使用 GPU 0
os.environ['CUDA_VISIBLE_DEVICES'] = '0,1' # 使用 GPU 0，1

GPU

如果机器中有多块GPU，tensorflow会默认吃掉所有能用的显存， 
如果实验室多人公用一台服务器，希望指定使用特定某块GPU。

可以在文件开头加入如下代码：

import os
os.environ["CUDA_DEVICE_ORDER"] = "PCI_BUS_ID"
os.environ["CUDA_VISIBLE_DEVICES"] = "1"       # 使用第二块GPU（从0开始）

也可以制定使用某几块GPU：

import os
os.environ["CUDA_DEVICE_ORDER"] = "PCI_BUS_ID"
os.environ["CUDA_VISIBLE_DEVICES"] = "0, 2"    # 使用第一, 三块GPU

也可以用以下方法：

with tf.device('/gpu:0'):
    train_data=ImageDataGenerator(train_file,mode='training',batch_size=batch_size,
                                  num_classes=num_classes,shuffle=True)
    val_data=ImageDataGenerator(val_file,mode='inference',batch_size=batch_size,
                                num_classes=num_classes,shuffle=False)

    iterator=tf.data.Iterator.from_structure(train_data.data.output_types,
                                             train_data.data.output_shapes)
    next_batch=iterator.get_next()
    。。。。。。。。。。。。。。。

禁用GPU：

import os
os.environ["CUDA_VISIBLE_DEVICES"] = "-1"