Tensorflow。同一机器和同一型号上的一组图形处理器工作良好，另一组图形处理器会出现OOM错误

Question

我使用多个GPU（num_GPU=4）训练一个模型和多个塔。该模型在一组GPU上训练良好：CUDA_VISIBLE_DEVICES=0,1,2,3，而在CUDA_VISIBLE_DEVICES=0,1,4,5的第一次图形评估中，该模型遇到OOM问题

有人知道为什么会这样吗？

以下选项用于创建会话

session_config=tf.ConfigProto(
  allow_soft_placement=True,
  log_device_placement=False)
session_config.gpu_options.per_process_gpu_memory_fraction = 0.94
session_config.gpu_options.allow_growth=False

批量大小，已经非常小，=3

Tensorflow 1.0 Cuda 8.0 Ubuntu 14.04.5 LTS所有GPU:GeForce GTX 1080

名称：GeForce GTX 1080主要：6次要：1 memoryClockRate（GHz）1.7335 pciBusID 0000:07:00.0总内存：7.92GiB可用内存：7.81GiB W tensorflow/stream_executor/cuda/cuda_driver.cc:590]在当前活动时创建上下文；现有：0xcc4593a0 I tensorflow/core/common_runtime/gpu/gpu_device.cc:885]找到具有以下属性的设备1：名称：GeForce GTX 1080 major:6 minor:1 memoryClockRate（GHz）1.7335 pciBusID 0000:08:00.0总内存：7.92GiB可用内存：7.81GiB W tensorflow/stream_执行器/cuda/cuda_驱动程序。cc:590]在当前活动时创建上下文；现有：0xd2404670 I tensorflow/core/common_runtime/gpu/gpu_device.cc:885]找到具有以下属性的设备2：名称：GeForce GTX 1080 major:6 minor:1 memoryClockRate（GHz）1.7335 pciBusID 0000:18:00.0总内存：7.92GiB可用内存：7.81GiB W tensorflow/stream_执行器/cuda/cuda_驱动程序。cc:590]在当前活动时创建上下文；现有：0xd25591b0 I tensorflow/core/common_runtime/gpu/gpu_device.cc:885]找到了具有以下属性的设备3：名称：GeForce GTX 1080主要：6次要：1 memoryClockRate（GHz）1.7335 pciBusID 0000:1c:00.0总内存：7.92GiB可用内存：7.81GiB I tensorflow/core/common_runtime/gpu/gpu设备。cc:906]DMA:01 2 3 I tensorflow/core/common_runtime/gpu/gpu设备。cc:916]0:Y Y I tensorflow/core/common_runtime/gpu/gpu设备。cc:916]1:Y Y Y tensorflow/core/common_runtime/gpu设备。cc:916]tensorflow/core/common_运行时/gpu/gpu设备。cc:916]3:Y tensorflow/core/common_运行时/gpu/gpu设备。cc:975]创建tensorflow设备（/gpu:0）-

I tensorflow/core/common_runtime/gpu/pool_allocator.cc:247]PoolAllocator:47441 get请求之后，put_count=8461逐出_count=1000逐出_rate=0.118189，未满足分配率=0.844839 I tensorflow/core/common_runtime/gpu/pool_分配器。cc:259]将池大小限制从100提高到110 W html" target="_blank">tensorflow/core/common_runtime/bfc_分配器。cc:217]尝试分配2.33GiB时内存耗尽。调用者指出这不是一个故障，但可能意味着如果有更多的内存可用，性能可能会提高。W tensorflow/core/common_runtime/bfc_allocator.cc:217]试图分配3.08GiB时内存不足。调用者指出这不是一个故障，但可能意味着如果有更多的内存可用，性能可能会提高。W tensorflow/core/common_runtime/bfc_allocator.cc:217]试图分配3.08GiB时内存不足。调用者指出这不是一个故障，但可能意味着如果有更多的内存可用，性能可能会提高。W tensorflow/core/common_runtime/bfc_allocator.cc:217]试图分配3.98GiB时内存不足。调用者指出这不是一个故障，但可能意味着如果有更多的内存可用，性能可能会提高。W tensorflow/core/common_runtime/bfc_allocator.cc:217]试图分配3.98GiB时内存不足。调用者指出这不是一个故障，但可能意味着如果有更多的内存可用，性能可能会提高。W tensorflow/core/common_runtime/bfc_allocator.cc:217]试图分配2.54GiB时内存不足。调用者指出这不是一个故障，但可能意味着如果有更多的内存可用，性能可能会提高。W tensorflow/core/common_runtime/bfc_allocator.cc:217]试图分配2.54GiB时内存不足。调用者指出这不是一个故障，但可能意味着如果有更多的内存可用，性能可能会提高。W tensorflow/core/common_runtime/bfc_allocator.cc:217]试图分配3.17GiB时内存不足。调用者指出这不是一个故障，但可能意味着如果有更多的内存可用，性能可能会提高。W tensorflow/core/common_runtime/bfc_allocator.cc:217]试图分配2.68GiB时内存不足。调用者指出这不是一个故障，但可能意味着如果有更多的内存可用，性能可能会提高。W tensorflow/core/common_runtime/bfc_allocator.cc:217]试图分配3.86GiB时内存不足。调用者指出这不是一个故障，但可能意味着如果有更多的内存可用，性能可能会提高。I tensorflow/core/common_runtime/gpu/pool_allocator.cc:247]PoolAllocator:2698 get请求后，put_count=8709被逐出

Answer 1

日志是运行良好还是运行不良？那里没有错误，只有警告。

如果您的系统有双根复合体，0,1,4,5可能在不同的分区上。DMA矩阵将显示这一点。相同根复合体上的GPU之间的副本通常比交叉它们更快。如果由于复制时间较长，副本必须在张量引用上保持更长时间，您可能会看到内存使用峰值增加，如果您的模型过于接近限制，则会导致OOM。当然，这只是一个理论，如果没有进一步的调试信息，很难确定。