优化的汇编代码

Question

因此，通常关于通过汇编代码提高性能的问题的答案是“不要打扰，编译器比你聪明”。我明白了。

但是，我注意到优化的线性代数库（例如ACML）可以比标准编译库实现2到5倍的性能改进。例如，在我的8核机器上，与现有的单线程BLAS实现相比，优化的矩阵乘法运行速度快了30倍以上，这意味着，在考虑了由于使用所有内核而提高的8倍之后，仅仅通过优化仍然可以提高4倍。

所以在我看来，优化的汇编代码确实可以带来巨大的变化。我错过了什么吗？

我在问，因为如果它不是异常困难，我可能会倾向于在其他代码段上尝试这个。没什么复杂的，但是如果我可以通过在汇编中编写它来对一些小的内部循环进行2倍的改进，这可能是值得的。

Answer 1

优化的汇编代码可以为您带来巨大的速度提升。

我的研究表明，关于“编译器更好”的说法是有偏见的，与现实生活无关。这是一个神话。

只有当你把用真正好的编译器编译的写得好的HLL程序和写得差的汇编程序相比较，编译器才更好。

没有那么多优秀甚至体面的汇编程序员，这是另一回事

Answer 2

矩阵-矩阵乘积的加速部分是由于使用汇编代码。在一个简单的实现中，主要的瓶颈是内存访问。大多数时候，你的CPU会等待进行实际的计算。

首先，您必须修改矩阵-矩阵乘法的算法，以便尽可能频繁地重用L2和L1缓存中的数据。这可以用C(或C或Fortran或...).这将导致当矩阵大小变得大于您的缓存时，实现不会崩溃。这也意味着实现可以一直进行计算(CPU寄存器中需要的数据几乎总是在L1缓存中，L1缓存中需要的数据几乎总是在L2缓存中，...).

下一步是优化完成所有计算的热点。这只涉及C代码的几行（在我的GEMM教程中只有10行）。汇编代码在指令流水线、循环展开（用于改进分支预测）、预取（用于减少缓存未命中）、使用SSE（或AVX）方面进行优化。

类似的技术可用于其他BLAS级功能。实际上，他们中的大多数使用GEMM函数的内部东西(所谓的微内核)。

在ulmBLAS基准测试中，您可以看到，大约所有BLAS Level 3功能都可以实现大致相同的性能。

为了更彻底地阅读，我建议你写一篇很好的论文《编程矩阵计算的科学》，作者是罗伯特·范·德·盖恩和恩里克·金塔纳-奥尔蒂。您可能还想看看BLIS，其中大多数想法都采用并简化了ulmBLAS。