缓存刷新例程之间的计时不一致

Question

我需要运行 DAXPY 线性代数核的时序。天真地，我想尝试这样的事情：

fill(X,operand_size);
fill(Y,operand_size);
double seconds = timer();
daxpy(alpha,X,Y,operand_size);
seconds = timer() - seconds;

如果需要，完整的代码链接位于末尾。

问题是，填充操作数 x 和 y 的内存访问将导致它们被放置在处理器缓存中。因此，在 DAXPY 调用中对内存的后续访问比在生产运行中实际访问要快得多。

我比较了两种解决这个问题的方法。第一种方法是通过clflush指令从所有级别的缓存中刷新操作数。第二种方法是读取一个非常大的数组，直到操作数条目被“自然地”从缓存中逐出。我对两者都进行了测试，这是带有大小为2048的操作数的单个DAXPY调用的运行时:

Without flush: time=2840 ns
With clflush: time=4090 ns
With copy flush: time=5919 ns

这是几秒钟后进行的另一次运行：

Without flush: time=2717 ns
With clflush: time=4121 ns
With copy flush: time=4796 ns

正如预期的那样，刷新会增加运行时。但是，我不明白复制刷新如何导致 DAXPY 例程的运行时间大大延长。clflush 指令应从所有缓存中逐出操作数，因此 clflush 的时间应该是任何其他缓存刷新过程的执行时间的上限。不仅如此，刷新的计时（对于两种方法）也会反弹很多（数百纳秒，而对于未刷新的情况，则不到10纳秒）。有谁知道为什么手动刷新在运行时会有如此大的差异？

附录

完整的代码，包括所有的计时程序和刷新程序，在这里(194行):

http://codepad.org/hNJpQxTv

这是我的gcc版本。代码是用-O3选项编译的。(我知道，是老了；我必须构建的一些软件与较新的gcc不兼容)

使用内置规格。

Target: i686-apple-darwin10
Configured with: /var/tmp/gcc/gcc-5646.1~2/src/configure --disable-checking --enable-werror --prefix=/usr --mandir=/share/man --enable-languages=c,objc,c++,obj-c++ --program-transform-name=/^[cg][^.-]*$/s/$/-4.2/ --with-slibdir=/usr/lib --build=i686-apple-darwin10 --with-gxx-include-dir=/include/c++/4.2.1 --program-prefix=i686-apple-darwin10- --host=x86_64-apple-darwin10 --target=i686-apple-darwin10
Thread model: posix
gcc version 4.2.1 (Apple Inc. build 5646) (dot 1)

我在Mac OS X 10.6上使用Intel Xeon 5650处理器。

Answer 1

CPU为正常读取实际执行的操作（部分）的伪代码（在基准测试期间经常发生）可能是：

if( cache line is not in cache ) {
    if(cache is full) {
        find cache line to evict
        if( cache line to evict is in "modified" state ) {
            write cache line to evict to slower RAM
        }
        set cache line to "free"
    }
    fetch the cache line from slower RAM 
}
temp = extract whatever we're reading from the cache line

如果您使用CLFLUSH刷新缓存，那么if（缓存已满）将为false，因为CLFUSH使缓存为空。

如果使用复制来刷新缓存，则If（缓存已满）分支将为真，而If（缓存行已修改）也将在一半时间为真（缓存的一半将包含复制期间读取的数据，另一半将包含在复制期间写入的数据）。这意味着，有一半的时间，您最终会执行＜code＞写缓存行以逐出到较慢的RAM。

执行写入缓存行以逐出 RAM 将消耗 RAM 芯片带宽，并影响从较慢的 RAM 获取缓存行的性能。