问的很细,很深入,当然也可能是因为我太菜。
首先问简历,具体业务,怎么做的,用的数据集数量和格式,现有的流行大模型结构。SFT lora的做法,原理,具体微调哪个矩阵,其他PEFT方法,为什么lora用的广泛,以及矩阵和数据序列N参数量的关系。
强化学习和RAG问的比较多,但是因为我本人都只是做过demo级别的项目,回答的不是很好,被面试官一直质疑,以及一些PPO和DPO的细节,输入数据集格式是否一样,评测标准(答的BLEU和ROUGE),了不了解其他框架,其他指标,论文也被质疑贡献
还是太菜了,面试官感觉是懂怎么把技术应用于业务,开始自闭。