如何充分利用OpenCL中的SIMD？

Question

在北网的优化指南中，针对英特尔GPU的OpenCL开源实现

工作组大小应大于16，并且是16的倍数。

Gen上有两个可能的SIMD车道是8或16。为了不浪费SIMD车道，我们需要遵循这个规则。

英特尔处理器图形Gen7.5的计算架构中也提到：

对于Gen7。基于5个产品，每个EU有7个线程，总计28 KB的通用寄存器文件（GRF）。

。。。

在Gen7上。5计算架构，大多数SPMD编程模型都采用这种类型的代码生成和EU处理器执行。实际上，每个SPMD内核实例似乎都在其自己的SIMD通道内连续独立地执行。

实际上，每个线程执行一个SIMD-Width数量的内核实例

如果我理解正确，以SIMD-16 x 7 threads=112个内核实例为例，为了在一个EU上运行224个线程，工作组大小需要为16。然后OpenCL编译器将16个内核实例折叠到一个16通道SIMD线程中，并在7个工作组上执行7次，然后在单个EU上运行它们？

问题1：我到这里为止是正确的吗？

但是OpenCL规范也提供矢量数据类型。因此，通过传统的SIMD编程（如NEON和SSE）充分利用欧盟的SIMD-16计算资源是可行的。

问题2：如果是这种情况，使用vent-16数据类型已经显式使用了SIMD-16资源，因此删除了每个工作组至少16项的限制。是这样吗？

问题3：如果以上都是真的，那么这两种方法如何比较：1）OpenCL编译器将112个线程折叠成7个SIMD-16线程；2） 编码为显式使用vector-16数据类型和SIMD-16操作的7个本机线程？

Answer 1

>

几乎。您正在假设每个工作组有一个线程（N. B.线程在这种情况下是CUDA所说的“波”。在Intel GPU中，工作项是GPU线程的SIMD通道）。如果没有子组，就无法强制工作组大小完全是一个线程。例如，如果您选择16的WG大小，编译器仍然可以自由编译SIMD8并将其分布在两个SIMD8线程之间。请记住，编译器在知道WG大小之前选择SIMD宽度（clCompileProgram在clEnqueueNDRange之前）。子组扩展可能允许您强制使用SIMD宽度，但绝对不会在GEN7.5上实现。

OpenCL向量类型是在已经自动发生的隐式向量化之上的可选显式向量化步骤。例如，您是否使用flat16。每个工作项将每个处理16个浮点数，但编译器仍将至少编译SIMD8。因此，每个GPU线程都将处理（8*16）浮点数（尽管是并行的）。这可能有点矫枉过正。理想情况下，我们不希望通过使用显式OpenCL向量类型来显式向量化我们的CL。但有时如果内核做得不够多（内核太短可能会很糟糕），这可能会很有帮助。它在某个地方说flat4是一个很好的经验法则。

我想你是指112个工作项？本地线程是指CPU线程还是GPU线程？

• 如果您指的是CPU线程，那么关于GPU的常见参数也适用。如果您的程序没有太大差异（所有实例都采用类似的路径），并且您使用数据的次数足够多，以减少向GPU传输数据和从GPU传输数据的成本（算术密度），那么GPU就很好了