gcc在覆盆子半精度浮点（binary16，替代，__fp16）使用库函数

Question

我提出了一些基于机器学习的算法，该算法基于树莓pi 3，具有大量存储系数数组，不需要完全精度。

我尝试使用半精度浮点来存储这些数据，以减少程序内存（可能还有内存带宽）占用。

算法的其余部分保持不变。

在使用__fp16时，我比较了flat32和flat16版本的性能损失（显著的：我测试程序的33%运行时），尽管cpu应该支持转换。

我查看了asembler输出，还创建了一个sinple函数，该函数只读取一个值，并将其作为浮点返回，并且似乎使用了一些库函数调用来进行转换。（与实际代码中调用的函数相同）

rapspberry的cpu应该有半精度硬件支持，所以我希望看到一些指令加载数据，而不会看到任何性能影响（或者看到由于内存带宽需求减少而带来的改进）

我正在使用以下编译器标志：

-O3 -mfp16-format=alternative -mfpu=neon-fp16 -mtune=cortex-a53 -mfpu=neon

这里是小测试函数的小代码和汇编器输出：

const float test(const Coeff *i_data, int i ){
  return (float)(i_data[i]);
}

对系数使用浮点数：

    .align  2
    .global test
    .syntax unified
    .arm
    .fpu neon
    .type   test, %function
test:
    @ args = 0, pretend = 0, frame = 0
    @ frame_needed = 0, uses_anonymous_args = 0
    @ link register save eliminated.
    add r1, r0, r1, lsl #2  @ tmp118, i_data, i,
    vldr.32 s0, [r1]    @, *_5
    bx  lr  @

将fp16用于系数（-mfp16格式=可选）：

    .align  2
    .global test
    .syntax unified
    .arm
    .fpu neon
    .type   test, %function
test:
    @ args = 0, pretend = 0, frame = 0
    @ frame_needed = 0, uses_anonymous_args = 0
    lsl r1, r1, #1  @ tmp118, i,
    push    {r4, lr}    @
    ldrh    r0, [r0, r1]    @ __fp16    @, *_5
    bl  __gnu_h2f_alternative   @
    vmov    s0, r0  @,
    pop {r4, pc}    @

对于系数（mfp16格式=ieee），使用fp16：

    .align  2
    .global test
    .syntax unified
    .arm
    .fpu neon
    .type   test, %function
test:
    @ args = 0, pretend = 0, frame = 0
    @ frame_needed = 0, uses_anonymous_args = 0
    lsl r1, r1, #1  @ tmp118, i,
    push    {r4, lr}    @
    ldrh    r0, [r0, r1]    @ __fp16    @, *_5
    bl  __gnu_h2f_ieee  @
    vmov    s0, r0  @,
    pop {r4, pc}    @

我错过了什么吗？




Answer 1

在ARM的网站上：http://infocenter.arm.com/help/index.jsp?topic=/com.arm.doc.dui0774d/chr1421838476257.html

注意__fp16类型仅是一种存储格式。出于算术和其他操作的目的，C或C表达式中的__fp16值会自动提升为浮点数。

Answer 2

由于只能指定一次，编译器标志将覆盖早期的mfpu=neon-fp16。

这是一个错误，它被设置了两次（它被添加到Makefile的不同位置）。

但由于raspberry 3有一个始终支持fp16的vfpv4，因此最好的规范是mfpu=neon-vfpv4。

在这种情况下，编译器不会为转换生成库调用。

编辑：根据这个ghist-mfpu=neon-fp-armv8-mneon-for-64位可以用于Raspberry 3。