个人背景

学校情况：211本中九硕，本硕都是计算机科班，但研究方向并不是NLP，而是图表示学习，算是转行成功

论文情况：2A1B均为一作，其中1A(NeurIPS)+1B(ICDM)已发表，另有1A刊在投；除此之外，还有一篇A会撰写中

实习情况：一段快手推荐算法日常实习

一面/技术面 2024/3/28 晚上19:00-20:00

1. 自我介绍
2. 让讲两个拿手的东西，第一个介绍了NeurIPS那篇论文
3. 中间穿插着问了10多个问题，包括具体原理，数据集规模，下游任务等
4. 第二讲了快手的实习，主要干了些什么，中间穿插着10来个问题，面试官显然也了解GNN，因此这两部分耽误的时间较久
5. 问我主要是搞GNN这块的，是怎么接触到大模型的，我说本科搞时序预测的，有一点关联，再加上比较感兴趣
6. 接下来是大模型八股拷打。说一下Transformer的具体结构，以机器翻译为例，说了编码器和解码器的工作步骤，包括训练和测试
7. BERT和GPT的区别在哪里？从结构上说了一些，然后从BERT的任务角度说了一些(MLM和NSP)
8. GPT和其他常见的大模型，比如LLaMA还有ChatGLM的区别在哪里？从结构，激活函数，位置编码以及训练的任务四个角度说了一下
9. 预训练微调了解吗，提了一嘴LoRA
10. 说了一下LoRA的具体原理，以及具体是用在什么地方
11. LLaMA-70B这样的模型，加载不进去，该怎么训练呢？模型并行说了一下，顺便讲了数据并行
12. GNN和LLM有没有什么好的结合方式？想了一个大概思路是，把节点当做token，然后把节点序列送入LLM，然后又讲了讲当出现新的节点时可能会怎么处理
13. 手撕算法题：一个数值不重复的序列，每次插入一个值，如果该值存在，则将其移动到末尾，否则插入到末尾，要求O(1)时间复杂度。这题类似于LRU，用了哈希+双向链表，哈希存储值和node的映射
14. 能实习多久，什么时候到岗？
15. 反问：实习生进去后主要做些什么？

二面/技术面 2024/4/9 下午16:30-17:50

1. 自我介绍
2. 讲解NeurIPS论文，问了大概十几个问题，从动机，到细节，再到实验，面试官直接让打开论文讲
3. 讲解ICDM论文，问了大概十几个问题
4. 讲一下对大模型的理解，从上个世纪的词频统计等方法，再到skip-gram，再到rnn，再到Transformer，再到BERT，再到GPT，再到一些有监督微调方法如LoRA，还有强化学习
5. BERT和GPT有什么区别？
6. 各有什么优势？
7. BERT更适合做文本理解，GPT适合做生成任务，why
8. 谈谈你对强化学习在LLM中的理解
9. 图神经网络中一般用什么norm，why
10. norm的作用，各种，追问了很多。。。感觉没有回答得特别好
11. 算法题：m * n的格子，从左上角到右下角有多少条路径，需要将格子中的障碍物避开，二维DP
12. 反问：进去主要做些什么
13. 问了offer的情况，以及能实习多久，大概多久来

三面/HR面 2024/4/17 下午16:30-16:50

1. 自我介绍
2. 问有没有继续深造的打算
3. 职业规划
4. 具体说了一下实习经历，包括做了什么
5. 实习中都是自己一个人在做吗？还有什么可以提升的地方？
6. 你觉得自己的优缺点是什么？有什么的爱好和兴趣？优缺点描述完后问了MBTI
7. 为什么会想到做公众号？一般做什么方向的？后续对这个公众号有更具体的规划吗
8. 你一般通过什么来了解你这个领域的前沿技术？论文和学术交流
9. 进去后具体想要做什么方向有规划吗？城市意向
10. offer情况，什么时候能入职，入职后能待多久，能一直实习下去吗？
11. 确认了一下个人信息
12. 反问环节：具体进去做什么，HR说需要和mentor沟通

20分钟后收到了云证通知，状态也变成了录用评估中，4.20 OC，告知下周给offer。

最新：4.22上午十点半收到正式邮件offer

最后祝愿大家都能拿到理想的offer！