《NLP》专题

写面筋，攒一点好运~ 等了两个星期终于等到蚂蚁电话约一面 面试主要在拷打项目， 先自我介绍，然后针对项目问题刨根究底的询问。 除此之外 问了一下对比一下KG + LLM 与 RAG的优劣(好像他们主要也在做KG+LLM) 无算法 反问： 几面？一共有三轮技术面，第二轮会有算法。三面leader面。 业务做啥？垂领大模型构建，KG+LLM P.S. 1. 昨天面试官找我约好时间，结果今天他还迟到了一

面试时间：3.27 总时长：50分左右 没有自我介绍环节，上来面试官先简单介绍了下部门和面试流程（算法题—>八股—>项目—>反问），然后直接开始做题。 算法题： 求出多峰数组的任一个峰，要求时间O(log n)，相当于leetcode 852的多峰形式 八股： 机器学习中过拟合的特点和解决方法 介绍一下self-attention和multi-head attention RoBERTa相比BER

相对位置编码 绝对位置编码 boosting的发展历程（项目里头有lightgbm） 为什么LN不BN qkv怎么生成的 信息增益和熵的公式 还有一些经典transformer问题 手撕快排第k大的数 反问面试有什么可以改进的嘛？答：沟通能力有点问题 哎现在就是整个人瘫在床上起不来了

（为什么wxg一共有四轮技术面啊😅，麻了 teg一面挂后，被wxg捞起来了。 3.27一面 针对简历上的简历问了很多，包括一些技术细节和实现方法。八股考察了llm和传统nlp的知识 1.chatglm2与chatglm1做了哪些改进？是怎么训练的 2.微调以后的模型会出现什么问题？如何改进 3.llm的评测怎么做的 4.bert与GPT的区别？bert的pe是怎么做的？ 5.bert怎么做预训练

1.自我介绍 2.抓着项目的一些问 面试官喜欢问从顶层的实验设计的一些东西 我的实验为什么要选用 cos 距离或者 mse？ 能不能用 KL散度？是不能用还是不好用？ KL 散度和交叉熵的区别和联系是什么？ （都是我没考虑过的问题 有点汗流浃背） 既然你用到了那么多微调方式， 那你有什么实验过程中探究了 lora 的比如 秩之类的参数的影响吗？ prompt tuning ptuning v2 有

一面（8.30）： 1、自我介绍，问简历中论文和项目（问的比较浅） 2、第一道算法题：数组中找第K大（花了一些时间调出来了） 3、第二道算法题：面试官自己出的，要求输入整数n，返回长度为n、仅有元音（a,e,i,o,u）组成的字符串数量，比如n=2则返回15，因为['aa','ae','ai','ao','au','ee','ei','eo','eu','ii','io','iu','oo','o

试题来自@ustc_zh 介绍lora，p-turing，各自优缺点 Lora是采用低秩矩阵分解的方式进行模型的微调，在transformer中，主要在wk，kq，wv，wo这四个矩阵中进行SVG分解，秩R是所设置的新的超参。 优点： 1）和原模型相比完全没有推理延时。 2）可插拔式的使用，可以快速针对不同的下游任务训练不同的lora权重（尝试过stable diffuion的不同LORA之后可以

3.12 大概面了50分钟，大部分在深挖项目，实现细节问得比较深。 1.自我介绍，把简历内容快速过了一遍，面试官还夸了一句我做过的东西蛮充实 2.针对实习项目挖呀挖呀挖，这部分耗时最久，项目实现细节问得很详细 3.介绍一下Bert 4.GPT和Bert的区别 5.介绍一下Roberta，它的改进点在哪 6.Transformer和LSTM的结构与原理 7.介绍RLHF技术 8.介绍注意力机制 9.

听说写点面经能攒人品，赶紧来一波。 滴滴两次技术面，没有hr面。 第一次技术面问了transformer和bert的基础知识。 先是问了知道transformer的架构如何设计的么？我答理解的。遂让我介绍下transformer的block的结构，我巴拉巴拉，然后继续问编码器和解码器的细节，编码器的position是用的什么函数，解码器和编码器的不同之处，解码器mask是怎么设计的。有的我答出来了

这个岗位楼主是在内推投递的，但是我本身做的是算法工程、算法落地化的方向，之前的实习经历还有项目经历也是，不知道为什么算法岗的面试官会看上我叫我来面试😂 自我介绍 自己挑一个项目来介绍，介绍了在字节做的vllm优化，面试官没听懂 问llm自动评测系统怎么设计，期望答案是用另一个大模型作为裁判 设计一个llm对话机器人的整个链路，我直接将之前实习的经验答上去了，但好像面试官对知识库召回的部分不太满意

小白人生的第一次技术面，问的挺细，我nlp也关注的是大模型的一些trick，基础没系统学那么深于是凉凉 nlp部分: 1.transformer的decoder输入“你好”两字，是如何输入“hello”五个字母的，其中的loss如何计算，细化到token级别 2.transformer的自回归体现在哪个部分 3.中文分词的一些算法 linux部分: 1.如何查看文件行数 2.有一个很大的文件，想看

一面挺好说话的哥们（过） 1、简历深挖 句向量具体怎么样优化？ 在哪几个模型上做的？ xlnet相对于bert的改进？ 有无中文数据集的经验？ 遗传算法怎么改进的？ 强化学习如何做的？ 了解以前智能对话的技术不，如lstm等 了解单轮对话和多轮对话的区别不？ 如果了解，你觉得多轮对话的难点在哪？ 可以如何改进？ 2、反向提问？ 客服业务量怎么样？ 算法团队情况？ hc岗位的具体职责？ 二面 技术主

一面 简单挖简历 你的三个项目怎么做的？ 讲一下cnn？ 讲一下lstm？ 讲一下反向传播？ 讲一下sigmoid函数？ 讲一下逻辑回归和随机森林的优缺点？ 讲一下svm？ 在线共享codding—求一个正数的平方根 在线codding，求链表的倒数第k个位置的value，由于时间原因只说了思路 二面 中度挖简历 三个项目的部分细节？ 第一个项目后续优化的思路？ 讲一下你对大模型的理解，知道哪些大

1. 自我介绍 2. 简历内容项目细问（每个和NLP有关的都问了） 3. 了解哪些大模型 4. 介绍BERT 5. 相对位置编码的好处 6. 介绍Word2Vec和优化方法 7. BERT为什么用LayerNorm不用BatchNorm 8. 算法：找出和为给定目标值（target）的连续子数组 最后一道题忘记双指针可以做了，只想到暴力dfs了感觉题刷的还是不够，面试一紧张就容易做不出来 #滴滴#

8.8 二面 45mins 1.介绍意图识别模型工作 2.介绍多模态模型的工作 3.介绍llms的tool learning；检索增强的一些微调结果 4.介绍论文——对抗样本 5.反问：岗位主要做提升文心一言的问答和检索增强任务。 没有代码；没有八股；感觉像是KPI面 #百度信息集散地##百度#