GCP和TPU、实验性连接到集群没有响应

Question

我正在尝试使用tensorflow 2.1和Keras API的GCP上的TPU。不幸的是，我在创建tpu节点后被卡住了。事实上，我的虚拟机似乎“看到”了tpu，但无法连接到它。

我正在使用的代码：

resolver = tf.distribute.cluster_resolver.TPUClusterResolver(TPU_name)
print('Running on TPU ', resolver.master())
tf.config.experimental_connect_to_cluster(resolver)
tf.tpu.experimental.initialize_tpu_system(resolver)
strategy = tf.distribute.experimental.TPUStrategy(resolver)

代码卡在第3行，我收到的消息很少，然后什么也没有，所以我不知道可能是什么问题。因此，我怀疑VM和TPU之间存在某种连接问题。

信息：

2020-04-22 15:46:25.383775:I tensorflow/core/platform/cpu_feature_guard.cc:142]您的cpu支持此tensorflow二进制文件未编译为使用的指令：SSE4.1 SSE4.2 AVX AVX2 FMA 2020-04-22 15:46:25.992977:I tensorflow/core/platform/profile_utils/cpu_utils.cc:94]cpu频率：2300000000 Hz 2020-04-22 15:46:26.042269:IXLA Service X/Laa/ Service / Service .CC：168）XLA服务0x5636E446610为平台主机初始化（这并不保证XLA将被使用）。设备：2020-04-22 15:46:26.042403:I tensorflow/compiler/xla/service/service.cc:176]StreamExecutor设备（0）：主机，默认版本2020-04-22 15:46:26.080879:I tensorflow/core/common_runtime/process_util.cc:147]使用默认操作间设置创建新线程池：2。使用inter_op_parallelism_线程进行优化，以获得最佳性能。E0422 15:46:26.263937297 2263 socket_utils_common_posix.cc:198]检查SO_重用端口：{“已创建”：“@1587570386.263923266”，“说明”：“SO_重用端口在编译系统上不可用”，“文件”：“外部/grpc/src/core/lib/iomgr/socket_utils_common_posix.cc”，“文件行”：166}2020-04-22 15:46:26.269134:I tensorflow/core/distributed_runtime/rpc/grpc_channel.cc:300]为作业工人初始化GrpcChannelCache-

此外，我使用的是来自gcp的“深度学习”映像，所以我不需要安装任何东西，对吗？

有人对TF2.1有同样的问题吗？附言：同样的代码在Kaggle和Colab上运行良好。

Answer 1

我创建了我的虚拟机TPU与ctpu up--zone=Europe-West4-a--disk-size-gb=50--Macher-type=n1-Standard-2--tf-version=2.2--tpu-size v3-8--name cola-tpu

但我仍然无法访问TPU，它像OP描述的那样挂起。

我打开了一个谷歌问题，并在那里得到了答案：

这是一个已知的问题，有时会发生，产品团队目前正在尝试解决它。

在这种情况下，让我提出一些故障排除步骤：

1-禁用然后重新启用TPU API

如果这不起作用：

2.1-转到专有网络

2.2-检查cp到tp对等默认值[某些数字]是否处于inactive状态。

2.3-如果有，删除它并再次创建一个tpu节点

请让我们知道这些是否对您有效，以便我们可以关闭此票据（如果有）或继续提供支持（如果没有）。

对我来说，删除cp到tp peeringdefault并重新创建VM-TPU是有效的。

Answer 2

为了重现，我使用ctpu up--zone=Europe-West4-a--disk-sige-gb=50--Macher-type=n1-Standard-8--tf-version=2.1来创建vm和tpu。然后运行你的代码，它成功了。

taylanbil@taylanbil:~$ python3 run.py 
Running on TPU  grpc://10.240.1.2:8470
2020-04-28 19:18:32.597556: I tensorflow/core/platform/cpu_feature_guard.cc:142] Your CPU supports instructions that this TensorFlow binary was not compiled to use: AVX2 AVX512F FMA
2020-04-28 19:18:32.627669: I tensorflow/core/platform/profile_utils/cpu_utils.cc:94] CPU Frequency: 2000189999 Hz
2020-04-28 19:18:32.630719: I tensorflow/compiler/xla/service/service.cc:168] XLA service 0x471b980 initialized for platform Host (this does not guarantee that XLA will be used). Devices:
2020-04-28 19:18:32.630759: I tensorflow/compiler/xla/service/service.cc:176]   StreamExecutor device (0): Host, Default Version
2020-04-28 19:18:32.665388: I tensorflow/core/distributed_runtime/rpc/grpc_channel.cc:300] Initialize GrpcChannelCache for job worker -> {0 -> 10.240.1.2:8470}
2020-04-28 19:18:32.665439: I tensorflow/core/distributed_runtime/rpc/grpc_channel.cc:300] Initialize GrpcChannelCache for job localhost -> {0 -> localhost:33355}
2020-04-28 19:18:32.683216: I tensorflow/core/distributed_runtime/rpc/grpc_channel.cc:300] Initialize GrpcChannelCache for job worker -> {0 -> 10.240.1.2:8470}
2020-04-28 19:18:32.683268: I tensorflow/core/distributed_runtime/rpc/grpc_channel.cc:300] Initialize GrpcChannelCache for job localhost -> {0 -> localhost:33355}
2020-04-28 19:18:32.690405: I tensorflow/core/distributed_runtime/rpc/grpc_server_lib.cc:390] Started server with target: grpc://localhost:33355
taylanbil@taylanbil:~$ cat run.py 
import tensorflow as tf
TPU_name='taylanbil'
resolver = tf.distribute.cluster_resolver.TPUClusterResolver(TPU_name)
print('Running on TPU ', resolver.master())
tf.config.experimental_connect_to_cluster(resolver)
tf.tpu.experimental.initialize_tpu_system(resolver)
strategy = tf.distribute.experimental.TPUStrategy(resolver)

如何创建tpu资源？你能再检查一下是否没有版本不匹配吗？