Tensorflow利用GPU训练注意事项

• 训练前要用nvidia-smi来查看一下当前GPU的使用情况，不要一下子就放上去跑把大家一起挤挂了，这是负责任的行为。之前在公司就遇到过训练了好久，结果一个新来的就把服务器挤跪了。
• 如果机器上面的GPU之间不能够通信，那就先设定一块要用的GPU吧，在终端上面输入命令export CUDA_VISIBLE_DEVICES=0（数字是GPU的编号）。
• 用Tensorflow创建session的时候要注意设置内存使用情况，特别是内存资源不够而且要和别人共享一块GPU的时候（留一点给别人用）:

gpu_options = tf.GPUOptions(per_process_gpu_memory_fraction=0.9) 
with tf.Session(config=tf.ConfigProto(gpu_options=gpu_options)) as sess: 
fraction设置使用内存的百分比。

• 如果要用with tf.device(‘/gpu:0’):，只能够在所有运算都能在GPU上进行才可以，否则就会报错。如果一定要这样，则要指定哪些操作可以使用GPU，或者设置从GPU可以转移到CPU上运算。

参考文献：

【1】Tensorflow利用GPU训练注意事项