面试时长40分钟
自由交流15分钟
面试官小姐姐超超超超温柔
1. 自我介绍
2. 问大模型实习项目,做了什么,用了什么开源模型,主要是chatglm和llama
3. 有没有尝试过改原模型的设计,比如结构或者loss函数?为什么不?
3. 说一下chatglm或llama与传统transformer结构的区别,有哪些改动,和可以借鉴的地方?主要从模型结构、layer norm、激活方式、位置编码回答
4. 在实际训练或微调的过程中遇到了哪些问题,是怎么解决的?主要讨论了下精度问题、梯度爆炸、loss出现nan
5. 说说bf16、fp16、fp32的区别
6. 简单讲了下deepspeed
7. 微调的话用了哪些方法?讲主要是lora
8. 追问了下我们用lora调哪些参数?不同参数怎么选?什么影响?
……想不起来了一部分
7. 代码实现transformer原来的sinusoidal位置编码
团队介绍
主要做的产品是Soul X系列
目前算法组将近100个人,其中NLP组不到20个人,目前主要工作在Role Play方向,AI狼人杀也在其中。国内海外都有相关产品,业务赚钱为主,发专利为辅,有发专利的Okr,没发过论文,但有往技术自研转型的趋势。
资源方面的话H800,不到100张。