一面(0816)
首先是自我介绍
然后深挖论文
中间夹杂着一些基础的八股,比如GRU和LSTM的区别,CLIP的操作步骤
手撕题目是(1)写个CLIP模型的伪代码(2)求字符串的最长无重复子串
这两个都不算难,写出来了
二面(0818)
自我介绍+深挖论文
然后开始拷打八股:CLIP和BEIT V3的区别;BEIT V3除了BERT外还有别的特殊的设计吗;V3和V2的 embbeding有什么不同;VIT的patch怎么做的;224*224*3的图像做成14*14的patch的话,最后sequence的长度是多少;Transformer里的position encoding怎么做的;相对位置编码和绝对位置编码有什么区别吗;具体实现相对位置编码该怎么做;了不了解其他的大模型;了不了解CV领域一些预训练的模型;了不了解对比学习;了不了解coco,simclr等对比学习方法,是怎么具体做的;等等(还有很多太细节的记不清了)
Transformer里的layer normal是怎么实现的,那手撕来实现一个Transformer里的layer normal吧
(爆炸,纯坐牢,到后面只要我会的说一半就会被打断换成别的更细的问题,八股被拷打晕了,很多不会的)