DMIPS, TOPS, FLOPS, FLOPs, GMACs, FMA

FLOPS

MFLOPS
GFLOPS
TFLOPS
PFLOPS

GFLOPS是Paper里比较流行的单位。

MFLOPS
Mega(106)/Giga(109)/Tera(1012)/Peta(1015)
Floating-point Operations per Second.

whetstone

whestone测试浮点运算性能

FLOPS vs FLOPs

FLOPS: floating point operations per second的缩写，意指每秒浮点运算次数, 衡量硬件性能的指标。

FLOPs：注意s小写，是floating point operations的缩写（s表复数），意指浮点运算数，用来衡量算法/模型的复杂度。

DMIPS

DMIPS中D的含义，干石（Dhrystone）测试的是整数运算性能，而与之相对的还有湿石（Whetstone），用来测试浮点运算性能。这个单位就是FLOPS。

TOPS

TOPS中O是什么含义？operation指MAC操作。MAC 数字相乘再相加。a=a+b*c。

TOPS: Tera Operations per Second

Most operations are MACs (multiply/accumulates), so TOPS = (number of MAC units) x (frequency of MAC operations) x 2.

TOPS/W

在某些情况下，还使用 TOPS/W 来作为评价处理器运算能力的一个性能指标，TOPS/W 用于度量在1W功耗的情况下，处理器能进行多少万亿次操作。

https://semiengineering.com/tops-memory-throughput-and-inference-efficiency/

GMACs

1MAC = 2 OP
即一个MAC (乘，加，各被认为是一个operation)

http://www.360doc.com/content/21/0211/11/30375878_961672385.shtml

FMA

FMA指令集（Fused-Multiply-Add，积和熔加运算）是x86微处理器上的指令集。FMA允许创建新的指令并有效率地执行各种复杂的运算，可结合乘法与加法运算（即积和熔加运算）。

FMA将a*x+b记为一项运算，GMAC=0.5GFLOPs
https://blog.csdn.net/touchwolf/article/details/106997506

FLOPS 度量的局限性

FLOPS并不是一个有意义的量度（measurement），因为FLOPS并不能反应出许多对执行效能有影响的因素。例如：I/O的效能、内存的架构、快取内存一致性（cache coherence）、…等。
这意味着电脑的实际计算容量，与FLOPS的理论峰值间会有一段不小的差距。

FLOPs没有考虑几个对速度有相当大影响的重要因素——MAC(Memory Access Cost)\并行度\平台

卷积层 包含哪些运算

1. 卷积运算Conv
2. BatchNorm
3. ReLu
4. Linear
5. Upsample
6. Poolings

FLOPS指 (single precision FP32)

双精度 FP64