网易互娱-n星计划-AI研究工程师面经
9.19 一面
1、项目相关
2、llama用的什么注意力？
3、flashattention简单讲一下？
4、ppl是什么？
5、如何选取训练后的模型？
6、有试过将多个模型权重合并吗？
7、训练时loss暴增可能是什么原因，怎么解决
8、有哪些节省显存的方式？
=======================
9.25 二面
1、项目相关
2、介绍一下SFT，lora，reward model，DPO
3、SFT只计算回答部分的损失合适吗？
4、模型蒸馏了解吗？损失是什么？可以用KL散度吗
5、交叉熵和KL散度的公式是什么
6、MQA，GQA是什么，deepseek的MLA了解了吗
7、如何训练一个代码检索模型？
8、reranker的训练目标？训练目标和我们希望的目标是否有不一致的地方，就比如训练时q-d对的匹配概率，但我们希望是检索的文档对大模型有用，这两个目标是否存在不一致呢？
========================
10.17 三面
全程问项目
========================
10.23 hr面
========================
无意向，目前还在泡池子
类似资料：