《小米算法面经》专题

假设每个臂是否产生收益，其背后有一个概率分布，产生收益的概率为p 我们不断地试验，去估计出一个置信度较高的*概率p的概率分布*就能近似解决这个问题了。 怎么能估计概率p的概率分布呢？ 答案是假设概率p的概率分布符合beta(wins, lose)分布，它有两个参数: wins, lose。 每个臂都维护一个beta分布的参数。每次试验后，选中一个臂，摇一下，有收益则该臂的wins增加1，否则该臂的

GraphX包括一组图算法来简化分析任务。这些算法包含在org.apache.spark.graphx.lib包中，可以被直接访问。 PageRank算法 PageRank度量一个图中每个顶点的重要程度，假定从u到v的一条边代表v的重要性标签。例如，一个Twitter用户被许多其它人粉，该用户排名很高。GraphX带有静态和动态PageRank的实现方法 ，这些方法在PageRank object

1.1.3 算法 如前所述，程序是解决某个问题的指令序列。编程解决一个问题时，首先要找出解决问 题的方法，该解决方法一般先以非形式化的方式表述为由一系列可行的步骤组成的过程，然 后才用形式化的编程语言去实现该过程。这种解决特定问题的、由一系列明确而可行的步骤 组成的过程，称为算法（algorithm①）。算法表达了解决问题的核心步骤，反映的是程序的解 题逻辑。 算法其实并不是随着计算机的发明才出现

Adam算法在RMSProp算法基础上对小批量随机梯度也做了指数加权移动平均 [1]。下面我们来介绍这个算法。 算法 Adam算法使用了动量变量$\boldsymbol{v}_t$和RMSProp算法中小批量随机梯度按元素平方的指数加权移动平均变量$\boldsymbol{s}_t$，并在时间步0将它们中每个元素初始化为0。给定超参数$0 \leq \beta_1 < 1$（算法作者建议设为0.9

除了RMSProp算法以外，另一个常用优化算法AdaDelta算法也针对AdaGrad算法在迭代后期可能较难找到有用解的问题做了改进 [1]。有意思的是，AdaDelta算法没有学习率这一超参数。 算法 AdaDelta算法也像RMSProp算法一样，使用了小批量随机梯度$\boldsymbol{g}_t$按元素平方的指数加权移动平均变量$\boldsymbol{s}_t$。在时间步0，它的所有元

我们在“AdaGrad算法”一节中提到，因为调整学习率时分母上的变量$\boldsymbol{s}_t$一直在累加按元素平方的小批量随机梯度，所以目标函数自变量每个元素的学习率在迭代过程中一直在降低（或不变）。因此，当学习率在迭代早期降得较快且当前解依然不佳时，AdaGrad算法在迭代后期由于学习率过小，可能较难找到一个有用的解。为了解决这一问题，RMSProp算法对AdaGrad算法做了一点小小

在之前介绍过的优化算法中，目标函数自变量的每一个元素在相同时间步都使用同一个学习率来自我迭代。举个例子，假设目标函数为$f$，自变量为一个二维向量$[x_1, x_2]^\top$，该向量中每一个元素在迭代时都使用相同的学习率。例如，在学习率为$\eta$的梯度下降中，元素$x_1$和$x_2$都使用相同的学习率$\eta$来自我迭代： $$x_1 \leftarrow x_1 - \eta \f

当你编写一个针对一类问题的通用解法，而非针对某一个问题的特定解法时，你就写出了一个算法。我在第一章提到过这个词，但是没有给出详细定义。这也不太好定义，所以我会试用多种方式进行定义。 首先，考虑一些不是算法的问题。当你学习个位数乘法时，你可能会背乘法表。实际上你记住的是100个特定解法，这种知识并不是真正意义的算法。 但是，如果你很“懒”，你可能学习一些作弊技巧。比如，求n与9的乘积，你可以在第一位

算法策略 分治法T(n)=O(nlogn) 将问题分解成规模较小、相互独立的子问题，各个击破，分而治之。 归并排序 将数列分为几个序列片段，逐趟两两归并，到底层归并成有序数列 最大子段和问题 动态规划法T(n)=O(nW) 将问题分解成互不独立子问题，保存子问题解，需要时再用，例如多项式时间算法 0/1背包问题 LCS最长公共子序列 贪心/贪婪法T(n)=O(n) 不从整体最优考虑，只根据当前信息

一、前言 上一章《Memcached源码分析 - Memcached源码分析之增删改查操作（5） 》中，我们讲到了SET命令的操作。当客户端向Memcached服务端SET一条缓存数据的时候，会将生成的Item地址挂到LRU的链表结构上。这一章节，我们主要讲一下Memcached是如何使用LRU算法的。 LRU：是Least Recently Used 近期最少使用算法。 二、Memcached的

名称 原理 复杂度 插入排序 对于元素索引i（i>=1），从头开始，若能找到比 a[i] 大对元素 a[j]，则记录 a[i] 的值，将索引 j~i-1 的元素向后移动一位，使用 a[i] 替换 a[j]。优化思路：针对数组可以采用二分查找找到当前元素的插入位置，链表不需要位移操作。 O(n^2/2) 选择排序 从当前元素开始遍历，记录最小值的索引，根据索引交换当前值的最小值，选择排序每次选出最小

简单回顾下虚拟内存技术，基于局部性原理来实现，总结起来就是两句话： 在程序执行过程中，当 CPU 所需要的信息不在内存中的时候，由操作系统负责将所需信息从外存（磁盘）调入内存，然后继续执行程序 如果调入内存的时候内存空间不够，由操作系统负责将内存中暂时用不到的信息换出到外存 整个请求调页的过程大概是这样的： 那么，到底哪些页面该被从内存中换出来，哪些页面又该被从磁盘中调入内存呢？ 这就是『页面置换

一面（8.30）： 1、自我介绍，问简历中论文和项目（问的比较浅） 2、第一道算法题：数组中找第K大（花了一些时间调出来了） 3、第二道算法题：面试官自己出的，要求输入整数n，返回长度为n、仅有元音（a,e,i,o,u）组成的字符串数量，比如n=2则返回15，因为['aa','ae','ai','ao','au','ee','ei','eo','eu','ii','io','iu','oo','o

时间：晚上10：16左右，20分钟左右 面试官男，非常疲惫，每次我回答完问题都沉默了很久，声音也很疲惫。 1、问学校，学位证，毕业证 2、项目经理（sd、lora、fine-tune过程） 3、L2正则化解释一下 4、用过BN（batch normalization）吗？ （答了梯度消失的时候的最佳解决方案，顺便扯了梯度消失的时候换激活函数，实际上还有梯度爆炸也可以用） 5、用过Dropout吗？

一面一上来先做了道栈的原创题，之后就是问项目，主要是数据部分。 第二天约的二面，二面是纯聊项目，压力非常大，堪比商汤的三面。对方应该是一个领导过一个大型基座模型分布式训练项目的leader。 从一个垂域大模型从零开始的数据收集，清洗，评估，增强， 到模型的训练，评测，微调策略，scalinglaw实验， 到分布式训练，4D并行，节点通信，坏点检测， 再到算法上的decoder only，atten