度小满 NLP二面面经
2.抓着项目的一些问
面试官喜欢问从顶层的实验设计的一些东西
我的实验为什么要选用 cos 距离或者 mse？
能不能用 KL散度？是不能用还是不好用？
KL 散度和交叉熵的区别和联系是什么？
（都是我没考虑过的问题 有点汗流浃背）
既然你用到了那么多微调方式， 那你有什么实验过程中探究了 lora 的比如 秩之类的参数的影响吗？
prompt tuning ptuning v2 有啥区别？（说完他觉得我说的太八股太宏观了，又讲了一堆原理）
为什么 p v 2 比 prefix tuning 要减去那个 lstm 和 linear？ 我说论文里说适配 NLG 任务，好像记错了。
有没有接触过强化学习？为什么你们只考虑微调，是因为啥原因？
你是用几张卡跑实验？多大参数的模型？跑的时候内存占用量多大？
有没有试过全量微调？ 那你想一下，假如我用 deepspeed 的几种版本， 全量微调7B 模型，内存占用多大？
最后大概的意思就是说他比较看重实验最初的一些设计能力， 不能蹬 OOM 再来解决。让我之后要多理解一下 deepspeed。说社招看的多这些理解能力。
反正基本上就是项目围绕讲。 后面说我项目做的，工程应该能力不错。 代码题也是那种很简单的处理数据。
类似资料：