旷视NLP--中科大硕士--面试题目简析

试题来自@ustc_zh

1. 介绍lora，p-turing，各自优缺点 Lora是采用低秩矩阵分解的方式进行模型的微调，在transformer中，主要在wk，kq，wv，wo这四个矩阵中进行SVG分解，秩R是所设置的新的超参。 优点： 1）和原模型相比完全没有推理延时。 2）可插拔式的使用，可以快速针对不同的下游任务训练不同的lora权重（尝试过stable diffuion的不同LORA之后可以深刻的体会到它的优势） 3）低参数，适合小样本场景。 p-Turing是直接新增参数的方式进行的微调，在transformer中，主要在embedding层，wk，wv出拼接新的参数，以进行微调。 优点： 参数较低
2. 如何解决大模型遗忘问题？

1.ema+mean teacher+early stopping

2.新的训练集中加入旧数据

3.mixout：训练时每步以一定比例抽取部分神经元（70%），使这部分神经元的链出参数为原始模型的参数

4.K-Adapter，co-tuning等论文有新的操作（我没看）

5.把参数和原来模型的参数取平均（某个顶会用过）

6.这种现象基本都是小模型发生的，所以建议不进行微调，而是改用提示词微调或外置数据库（个人理解）

3.有若干边长为1，2，4，8...2^n的小正方形，给定一个长为a，宽为b的长方形，如何切割正方形个数最小？

这道题蛮简单的，和一个算法很像。具体做法就是一直以较小的边切正方形就行了。

4.给一个点的坐标，和一个长方体的中心点，长宽高，和对应的三个角度，如何判断这个点在不在长方体内？

a.给的三个角度就可以转化为向量，结合中心点就可以求出三条垂直的直线（以中心点建立坐标系），再求出点和中心点的距离，然后把距离分别投影到这三个方向上，判断是否满足长宽高。

b.通过给出的量，可以算出六个面的方程，然后依次判断是否在其中相对的两个面的中间。

5.给一个点的坐标，和一个多边形的各个顶点坐标，如何判断在不在多边形内部（二维）？

把所有边的直线方程都求出来，并标记内部的一侧，然后把点的坐标分别带入直线方程中，求出在点的哪一侧，看看是否在内部的那一侧

6.给一个点的坐标，和一个凸多面体的各个顶点坐标，如何判断在不在多面体内部（三维）？

和上面的方法一样，只不过求出来的是平面了。

这两个方法其实都来自线性分类器。

7.如何判断凸多面体的几个点在不在一个平面？

这道题应该算是高等数学入门题了，三点必在一个平面，每四个点求一次行列式，如果不为0，那就不在一个平面了。

当然，更快的方法是随便找三个点求出平面方程，然后带入其他点，只要不为0就不在一个平面。

content length那个问题我不咋会，就不献丑了。以上答案来自知乎，chatgpt，csdn，如有出错，多多指教。希望有大佬能帮忙解答一下

@ustc_zh （这个是原答主）