运行时错误：GPU上的CUDA运行时隐式初始化：0失败。状态：所有支持CUDA的设备忙或不可用

Question

问题：当我运行以下命令时

python -c "import tensorflow as tf; tf.test.is_gpu_available(); print('version :' + tf.__version__)"

错误：

RuntimeError: CUDA runtime implicit initialization on GPU:0 failed. Status: all CUDA-capable devices are busy or unavailable

详情：

警告：tensorflow:From:1:U gpu是否可用（来自tensorflow.python.framework.test\u util）已被弃用，并将在将来的版本中删除。更新说明：改用tf.config.list\u物理设备（'GPU'）。2021-04-18 21:02:51.839069:I tensorflow/core/platform/cpu_feature_guard.cc:143]您的cpu支持未编译此tensorflow二进制文件的指令：AVX2 AVX512F FMA 2021-04-18 21:02:51.846775:I tensorflow/core/platform/profile_utils/cpu_utils.cc:102]cpu频率：2500000000 Hz 2021-04-18 21:02:51.847076:IXLA Service X/Laa/Service／Service。CC：168）XLA服务0x7FC3BC000 0B20为平台主机初始化（这不保证XLA将被使用）。设备：2021-04-18 21:02:51.847104:I tensorflow/compiler/xla/service/service.cc:176]StreamExecutor设备（0）：主机，默认版本2021-04-18 21:02:51.849876:I tensorflow/stream_executor/platform/Default/dso_loader.cc:44]已成功打开动态库libcuda.so.1 2021-04-18 21:02:51.911161:W tensorflow/compiler/xla/service/platform_util.cc:210]无法为CUDA创建StreamExecutor:0:初始化CUDA设备StreamExecutor失败序号0:内部：调用CUDevicePrimary CTXRetain失败：CUDA_错误_未知：未知错误2021-04-18 21:02:51.911285:I tensorflow/compiler/jit/xla_gpu_设备。cc:161]忽略可见xla_gpu_jit设备。设备编号为0，原因：内部：未找到平台CUDA 2021-04-18 21:02:51.911546支持的设备：I tensorflow/stream_executor/CUDA/CUDA_gpu_executor.cc:981]从SysFS成功读取的NUMA节点的值为负值（-1），但必须至少有一个NUMA节点，因此，返回NUMA节点0 2021-04-18 21:02:51.912210:I tensorflow/core/common_runtime/gpu/gpu_device.cc:1561]发现设备0的属性为：pciBusID:0000:00:07.0名称：GRID T4-4Q计算能力：7.5 coreClock:1.59GHz coreCount:40设备内存大小：3.97GiB设备内存带宽：298.08GiB/s 2021-04-18 21:02:51.912446:Itensorflow/stream_executor/platform/default/dso_loader.cc:44]成功打开动态库libcudart.so.10.1 2021-04-18 21:02:51.914362:I tensorflow/stream_executor/platform/default/dso_loader.cc:44]成功打开动态库libcublas.so.10 2021-04-18 21:02:51.916358:Itensorflow/stream_executor/platform/default/dso_loader.cc:44]成功打开动态库libcuft.so.10 2021-04-18 21:02:51.916679:I tensorflow/stream_executor/platform/default/dso_loader.cc:44]成功打开动态库libcurand.so.10 2021-04-18 21:02:51.918787:I tensorflow/stream_executor/platform/default/dso_loader.cc:44]成功打开动态库libcusolver.so.10 2021-04-18 21:02:51.919993:I tensorflow/stream_executor/platform/default/dso_loader.cc:44]成功打开动态库libcusparse.so.10 2021-04-18 21:02:51.924652:I tensorflow/stream_executor/platform/default/dso_loader.cc:44]成功打开动态库libcudnn.so.72021-04-18 21:02:51.924792:I tensorflow/stream_executor/cuda/cuda_gpu_executor.cc:981]从SysFS读取的成功NUMA节点的值为负值（-1），但必须至少有一个NUMA节点，因此，返回NUMA节点零2021-04-18 21:02:51.925488:I tensorflow/stream_executor/cuda/cuda_gpu_executor.cc:981]从SysFS读取的成功NUMA节点的值为负值（-1），但必须至少有一个NUMA节点，因此，返回NUMA节点zero 2021-04-18 21:02:51.926100:I tensorflow/core/common_runtime/gpu/gpu_device.cc:1703]添加可见gpu设备：0 2021-04-18 21:02:51.926146:I tensorflow/stream_executor/platform/default/dso_loader.cc:44]已成功打开动态库libcudart.so.10.1回溯（最近一次调用）：文件“”，第1行，在文件“/home/miniconda3/envs/py37/lib/python3.7/site packages/tensorflow/python/util/deprecation.py”的第324行，在新函数返回函数（*args，**kwargs）文件“/home/miniconda3/envs/py37/lib/python3.7/site packages/tensorflow/python/framework/test_util.py”的第1496行，在设备库列表中的本地设备可用“/home/miniconda3/envs/py37/lib/python3.7/site packages/tensorflow/python/client/device_lib.py”，第43行，在pywrap_devices_lib中为s转换。list_devices（序列化配置）运行时错误：GPU上的CUDA运行时隐式初始化：0失败。状态：所有支持CUDA的设备都忙或不可用

操作系统平台和发行版（如Linux Ubuntu 16.04）：Ubuntu 18.04移动设备（如iPhone 8、Pixel 2、三星Galaxy）如果问题发生在移动设备上：云服务器TensorFlow安装自（源代码或二进制）：源
TensorFlow版本：2.2.0。Python版本：3.7.7
是否使用virtualenv安装？皮普？康达：皮普

我试图寻找这个问题的解决方案，但没有一个解决了它：

https://forums.developer.nvidia.com/t/all-cuda-capable-devices-are-busy-or-unavailable-what-is-wrong/112858

https://github.com/tensorflow/tensorflow/issues/41990

Tensorflow-GPU错误："运行时错误：GPU上的CUDA运行时隐式初始化：0失败。状态：所有支持CUDA的设备都忙或不可用”

https://docs.nvidia.com/cuda/cuda-installation-guide-linux/index.html#recommended-post

https://github.com/tensorflow/tensorflow/issues/48558

https://programmersought.com/article/94034772029/

Answer 1

我可以证实评论中提到的情况。

我在使用Ubuntu虚拟机、在VMware ESXi主机上执行以及使用v100 Nvidia GPU的vGPU分区时遇到了这个问题。

我得到了同样的错误，我已经尝试改变cuda版本和下载（pip）软件编译为特定的CUDA版本，这并没有解决问题，错误：

tensorflow.python.framework.errors_impl.InternalError: CUDA runtime implicit initialization on GPU:0 failed. Status: all CUDA-capable devices are busy or unavailable

在我的例子中，我忘记在/etc/nvidia/grid.conf中设置许可证服务器，我得到了完全相同的错误，所以在我的例子中，这是一个GRID许可证问题...修复网格配置文件并重新启动解决了问题。