《大数据分析》专题

已经入职一个多月了，才想起来写篇面经，有些面试细节记得不太清楚了，大家仅供参考。总体来说面试体验挺好，问的问题也没有很刁钻（可能是急缺人手），废话不多说直接上干货 一面 1. 自我介绍 2. 项目介绍-主要关于我在美团实习做的项目，AB实验，如何确保用户画像相似，观察的核心指标等等 3. t检验和z检验 4. p值的意义 5. sql：求用户留存 6. 逻辑回归背后的核心原理 7. 随即森林和xg

我将列的一些数据保存如下： 我需要的是所有的中文单词，我们不需要英文单词和'-'，但不是所有的值都是带和英文单词的，所以我不能用SQL下面，有没有人知道怎么实现？

1.Java基础篇（阿里、蚂蚁、字节、携程、快手、杭州银行等） 问题：HashMap的底层实现原理 答案： 在jdk1.8之前，hashmap由 数组-链表数据结构组成，在jdk1.8之后hashmap由 数组-链表-红黑树数据结构组成；当我们创建hashmap对象的时候，jdk1.8以前会创建一个长度为16的Entry数组，jdk1.8以后就不是初始化对象的时候创建数组了，而是在第一次put元素

我可能对加入/组By-agg有一个天真的问题。在RDD的日子里，每当我想执行a. groupBy-agg时，我曾经说reduceByKey（PairRDDFunctions）带有可选的分区策略（带有分区数或分区程序）b.join（PairRDDFunctions）及其变体，我曾经有一种方法可以提供分区数量 在DataFrame中，如何指定此操作期间的分区数？我可以在事后使用repartition（

问题内容： 默认情况下，Redis配置了16个数据库，编号为0-15。这仅仅是名称间隔的一种形式，还是按数据库隔离会对性能产生影响？ 例如，如果我使用默认数据库（0），并且有1000万个键，则最佳实践建议使用 keys 命令按通配符模式查找键效率低下。但是，如果我存储我的主键，也许是8个段键的前4个段，结果导致在单独的数据库（例如数据库3）中的键子集要小得多。Redis是将它们视为较小的一组密钥，

问题内容： 我有一个与父子关系的表，我需要递归查询的帮助 表结构 我正在尝试进行递归查询，但是我无法做到这一点，建议我应该如何查询数据库 问题答案： 正如上面所指出的，这并不是真正的递归，但是如果您知道最大需要深入多少步，则可以沿以下方向使用某些方法（也许使用PHP生成查询）： 我首先将父ID设置为NULL而不是0，但这是个人喜好。 ^^在这种情况下，您需要走多远。 [ 下一点没有严格意义 ] 然

7.4.5.用户数据分区 对开发者和用户来讲，用户数据分区才是最重要的。用户数据都储存在这里，下载的应用程序储存在这里，而且所有的应用程序数据也都储存在这里。 用户安装的应用程序都储存在/data/app目录，而开发者关心的数据文件都储存在/data/data目录。在这个目录之下，每个应用程序对应一个单独的子目录，按照Java package的名字作为标识。从这里可以再次看出Java packag

我有一个类，它返回一个<代码>列表 在我的存储库中，我有一个可分页对象，它应该从第0页开始每页返回2个项目。它具有以下属性： 然后我创建一个页面 ... 这就是回归的原因： 我通过

我得到了存储库代码： 当我在该查询上运行测试时，我得到了以下Hibernate警告：

问题内容： 我有如下的SQL： 并得到结果： 我想总结每个部门的学生人数，如下所示： 我该如何编写sql？ 问题答案： 尽管您似乎并未显示所有表格，但我只能假设还有每位学生的实际入学表格 如果您想要与每个学生相关联的每个部门的总数（这没有意义），则可能必须这样做… 我对“姓名”列的解释是学生的姓名，而不是班级实际讲师的姓名，因此，我进行子选择/加入。否则，就像其他人一样，只需要使用COUNT（*）

我需要使用 spark-sql 加载一个 Hive 表，然后对其运行一些机器学习算法。我是这样写的： 它工作得很好，但如果我想增加数据集数据帧的分区数，我该怎么做？使用普通RDD，我可以写： 我想要有N个分区。 谢谢

6.9.2 可分页的 ItemReader 另一种是使用数据库游标执行多次查询,每次查询只返回一部分结果。 我们将这一部分称为一页(a page)。 分页时每次查询必须指定想要这一页的起始行号和想要返回的行数。 JdbcPagingItemReader 分页 ItemReader 的一个实现是 JdbcPagingItemReader。 JdbcPagingItemReader 需要一个 Pagi

V9数据模型功能，允许用户把不同的数据表，分离到不同的数据库服务器上。以实现负载的分离，更加的符合大访问网站的需求。 数据分离方法 1.数据库连接配置 配置文件路径：caches\configs\database.php return array ( 'default' => array ( 'hostname' => 'localhost', 'database' => 'phpcm

phpGrace 数据分页详解 查询数据时使用数据操作对象的 page 函数即可快速完成分页，使用page函数，查询数据的格式如下： $data = array( 数据列表, 分页对象 ); 分页对象结构 分页对象->firstPage //第一页链接 分页对象->prePage //上一页链接 分页对象->listPage //列表页链接【数组格式】 分页对象->nextPage

In the relplot() and either scatterplot() or lineplot(), there are two ways to make these plots. There are a number of axes-level functions for plotting categorical data in different ways and a figure