科大讯飞-飞星计划 一面
发个面经攒攒人品
- 自我介绍；
- 大四毕设就做32卡训练？资源那里的；
- 训练&推理那个更想做那个、那个更擅长；
- 对CDUA、OpenCL的了解程度；
- 千卡分布式训练项目介绍；
- 介绍LAMB优化器、和Adam比较；
- LAMB优化器和分布式有什么关系；
- FP16量化训练的策略；O0、O1、O2、O3；
- reduce、allreduce、ring-allreduce区别；
- allreduce和ring-allreduce通信容量对比；
- 你们提出的分阶段local LAMB怎么实现、解决了什么问题；
- deepspeed使用过嘛，还有那些并行策略；
- 介绍ZeRO，ZeRO 1、ZeRO 2、ZeRO 3的区别和性能；
- 还了解什么？overlap
- overlap介绍一下原理，发生在分布式训练的那个阶段（结合代码说）；
- 张量并行、流水并行、混合并行；
- 语言问题，为什么没有写python、写的cpp、java；
- cpp的函数参数传递方式；python的函数参数传递方式；
- 指针和引用的区别；
- python的垃圾回收机制；
- CUDA做过那些工作、写过那些算子；
- 意向地要求
- 无手撕
- 反问：主要做的工作；
类似资料：