在TensorFlow/cuDNN中，NCHW比NHWC快多少？

Question

官方TensorFlow性能指南规定：

CNN使用的大多数TensorFlow操作都支持NHWC和NCHW数据格式。在GPU上，NCHW更快。但在CPU上，NHWC有时更快。

对于卷积，在TensorFlow/cuDNN中，NCHW比NHWC快多少？这方面是否有任何参考或基准？

还有，为什么更快？正如我所理解的（见这里），GPU上NHWC的TensorFlow将在内部始终转置到NCHW，然后调用NCHW的cuDNN conv内核，然后转置回来。但它为什么要这么做呢？cuDNN conv内核也适用于NHWC。也许在某个时候，他们做了比较，NHWC的cuDNN conv内核非常慢。但这是最新的吗？差别有多大？NHWC慢得多的技术原因是什么？或者这种情况下的cuDNN内核没有得到很好的优化？

Answer 1

我认为手动优化布局没有多大意义，特别是因为data\u format=“channels\u first”看起来比在整个TensorFlow中坚持默认设置要详细得多，而且内部应该处理好它。

我最多期望有两个百分点的NCHW更快的训练时间，随着时间的推移，我预计XLA JIT编译成熟时，性能差异将消失。

使用Keras，您可以使用K轻松地尝试这两种格式。因此，请同时尝试这两种格式，看看它对您的特定型号有何影响。

这里是一个带有VGG模型的小基准https://gist.github.com/carlthome/51d62cbf5fc23098418eef93b11a5d78

Answer 2

从TF1开始。你甚至不能直接打电话给NHWC。TF执行与NCHW之间的转换。因此，无论在cuDNN中实施NHWC的效率如何，从TF用户的角度来看，NCHW的速度更快：

https://github.com/tensorflow/tensorflow/issues/8286

性能比当然取决于问题，但我的感觉是它很大，如果可以避免的话，你不想使用NHWC（在GPU上）（看起来你也在浪费内存）

Answer 3

原因是大多数简单卷积的实现（这里不谈winograd或fft），最终会做某种简单的矩阵乘法，这意味着在它们的内部循环中，它们从两个张量中乘以一些值并求和结果。

在CPU实现中，使用SSE或AVX优化，沿着C维更快地执行此操作，因为您只需将值4乘以4或8乘以8，然后在最后进行一次减少（将4或8的累积相加）您添加了所有的C维度。

然而，在GPU上，跨线程执行缩减是一项成本更高的操作（至少在开普勒引入包裹级别原子操作之前是如此），因此历史上它已经过优化，以便包裹中的每个线程读取连续（内存中）HW值，并使用循环在C部分上进行累积。

请注意，最新的nvidia卡（RTX）现在有张量乘法内核，可以在一次操作中处理小块，包括减少一小部分C，所以在这些卡上使用NHWC（或混合NCHWC格式）实际上更快。