首次使用AVX 256位向量会减慢128位向量和AVX标量操作

Question

最初，我试图重现Agner Fog的微体系结构指南部分“YMM和ZMM矢量指令的预热期”中描述的效果，其中指出：

处理器在不使用时关闭向量执行单元的上部，以节省电源。在大约56000个时钟周期或14μs的初始预热期间，具有256位向量的指令的吞吐量大约是正常的4.5倍。

我得到了减速，尽管它看起来更接近~2x而不是4.5x。但我发现在我的CPU（英特尔i7-9750H咖啡湖）上，减速不仅影响256位操作，还影响128位向量操作和标量浮点操作（甚至是XMM触摸指令之后的N个仅限GPR的指令）。

基准项目代码：

# Compile and run:
# clang++ ymm-throttle.S && ./a.out

.intel_syntax noprefix

.data
L_F0:
  .asciz "ref cycles = %u\n"

.p2align 5
L_C0:
  .long 1
  .long 2
  .long 3
  .long 4
  .long 1
  .long 2
  .long 3
  .long 4

.text

.set initial_scalar_warmup, 5*1000*1000
.set iteration_count, 30*1000
.set wait_count, 50*1000

.global _main
_main:
  # ---------- Initial warm-up
  # It seems that we enter _main (at least in MacOS 11.2.2) in a "ymm warmed-up" state.
  #
  # Initial warm-up loop below is long enough for the processor to switch back to
  # "ymm cold" state. It also may reduce dynamic-frequency scaling related measurements
  # deviations (hopefully CPU is in full boost by the time we finish initial warmup loop).

  vzeroupper

  push rbp
  mov ecx, initial_scalar_warmup

.p2align 4
_initial_loop:
  add eax, 1
  add edi, 1
  add edx, 1

  dec ecx
  jnz _initial_loop

  # --------- Measure XMM

  # TOUCH YMM.
  # Test to see effect of touching unrelated YMM register
  # on XMM performance.
  # If "vpxor ymm9" below is commented out, then the xmm_loop below
  # runs a lot faster (~2x faster).
  vpxor ymm9, ymm9, ymm9

  mov ecx, iteration_count
  rdtsc
  mov esi, eax

  vpxor xmm0, xmm0, xmm0
  vpxor xmm1, xmm1, xmm1
  vpxor xmm2, xmm2, xmm2
  vmovdqa xmm3, [rip + L_C0]

.p2align 5
_xmm_loop:
  # Here we only do XMM (128-bit) VEX-encoded op. But it is triggering execution throttling.
  vpaddd xmm0, xmm3, xmm3
  add edi, 1
  add eax, 1

  dec ecx
  jnz _xmm_loop

  lfence
  rdtsc
  sub eax, esi
  mov esi, eax  # ESI = ref cycles count

  # ------------- Print results

  lea rdi, [rip + L_F0]
  xor eax, eax
  call _printf

  vzeroupper
  xor eax, eax
  pop rbp
  ret​

问题：我的基准是否正确？下面对发生的事情的描述似乎合理吗？

CPU处于AVX-冷状态（约675µs内没有执行256位/512位指令）遇到带有YMM（ZMM）目标寄存器的单个指令。CPU立即切换到某种“过渡到AVX-暖”状态。这大概需要Agner指南中提到的约100-200个周期。并且这个“过渡”周期持续约56'000个周期。

在过渡期间，GPR代码可以正常执行，但任何具有向量目标寄存器的指令（包括128位XMM或标量浮点指令，甚至包括vmovq xmm0、rax）都会对整个执行管道应用限制。这会影响紧跟在该指令之后的仅GPR代码N个周期（不确定有多少个周期；可能有十几个周期的指令）。

节流可能会限制分配给执行单元的µop的数量（无论这些µop是什么；只要至少有一个µop具有向量目标寄存器）？

对我来说，这里的新功能是，我认为在过渡期内，节流将仅适用于256位（和512位）指令，但似乎任何具有向量寄存器目标的指令都会受到影响（以及仅在指令之后立即测量20-60的GPR；在我的系统上无法更精确地测量）。

相关报道：特拉维斯·唐斯博客上一篇文章的“仅电压转换”部分可能描述了同样的效果。虽然作者测量了过渡期间YMM向量的性能，但得出的结论是，当过渡期间遇到向量寄存器接触指令时，被拆分的不是向量的上部，而是应用于整个管道的节流。（编辑：这篇博文没有测量过渡期内的XMM寄存器，这正是本文所测量的）。

Answer 1

即使对于窄SIMD指令，您也会看到节流，这是我称之为隐式加宽的行为的副作用。

基本上，在现代英特尔上，如果在ymm0到ymm15范围内的任何寄存器上的128-255高位脏了，任何SIMD指令都会在内部扩展到256位，因为高位需要归零，这需要寄存器文件中的全部256位寄存器通电，可能还需要256位ALU路径。因此，该指令用于AVX频率，就好像它是256位宽的一样。

类似地，如果任何zmm寄存器上的位256到511在zmm0到zmm15的范围内变脏，则操作会隐式加宽到512位。

对于轻指令与重指令，加宽指令的类型与全宽指令的类型相同。也就是说，将128位FMA扩展到512位的FMA充当“重AVX-512”，即使仅发生128位FMA。

这适用于所有使用xmm/ymm寄存器的指令，甚至标量FP操作。

请注意，这不仅仅适用于此限制期：这意味着如果您的上限不干净，则窄SIMD指令（或标量FP）将导致转换到更保守的DVFS状态，就像全宽指令一样。