《数据分析师面经》专题

一面 1、自我介绍 2、先问实习内容，实习涉及了实时数仓，细问了一些点 3、再问项目内容，做的是离线数仓 4、离线数仓的数据源有哪些？是怎么收集这些数据的？ 5、离线数仓是怎么分层的？分层依据是什么？ 6、JVM的内存模型介绍一下 7、说一下你知道的垃圾回收算法 8、MySQL的存储引擎有哪些？ 9、做过哪些HiveSQL优化？或者说你了解哪些优化措施？ 10、怎么解决数据倾斜问题？ 11、有接触

年龄：正态分布        性别：0-1变量        GMV：偏态分布        如何对对照组和实验组数据是否是否一致进行比较？        面试官答案：   年龄：正态检验，如果不想对均值和方差分别进行检验的话，就用ks检验   性别：比例检验，用卡方检验（列联表检验），或者转化成正态检验   GMV：偏态，方差不存在，不能用中心极限定理，所以不能用正态分布检验，所以用什么呢？  

参加赛意在本校的校园宣讲会，投了简历，然后进行了一面（现场投简历的都可以参加面试），一面有两位面试官，一位负责收集基础信息，另一位面试官负责面试。一面之后两天内出结果，进行二面。二面之后两天内出结果，本来是约好的时间，但是老是更改，时间也定的很模糊（上午/下午），（就这一点来说有点不靠谱）。本来二面结束说好谈薪的，结果突然加了一个三面，等了一天没等到谈薪电话，突然通知三面（离谱了）。 一面：数据库

一面 50分钟 自我介绍 http协议是哪一层的协议，讲一下对http的了解 tcp协议和udp协议是哪一层的协议，讲一下他们之间的区别，以及他们各自的应用场景 你知道get和post请求吗，讲一下他们之间的区别 当我们输入美团网址的时候，这个从输入到显示页面的过程 你了解操作系统吗，linux了解吧，你说一下你用过的命令 当我们要查看文件的具体属性用什么命令 讲一下静态链表和动态链表的区别 数据

一面  电话面 40分钟 自我介绍 介绍实时数仓的项目 你这里用到了clickhouse，clickhouse的写入和读取为什么快 flink有哪些算子 flink的窗口函数了解吗 flink的精准一次性如何保证的 kafka是如何保证数据不丢失和不重复的，从生产者和消费者考虑 hbase用过吗，rowkey的设计原则是什么 如何解决热点现象 redis的数据结构了解吗 java的spring会吗

一面 spark数据倾斜 实习相关 二面 Sql 找出最长连续子序列（row_number) 算法 二叉树层序遍历 mapreduce运行过程 spark.shuffle.partitions的调参原理 Spark小文件参数 怎么确定reduce的数量 bucket join优化的原理 怎么快速根据spark stage找到对应的代码 主题域划分 事实表怎么建模 数仓建模过程 事务的特性 进程和线

Timeline： 8.24 投递 9.15 笔试 10.26 一面 10.26 一面 35min： 1.Hadoop工作原理 2.Hive内外部表 3.数仓分层 4.数仓建模 5.Map和flatmap区别 6.Flink slot和并行度关系 7.Flink exactly once 精确一次消费 8.Flink窗口 9.Hive udf 10.并发实现方式 11.线程池了解吗 12.线程池有

等的心慌，写面经攒人品 9.15一面（25分钟，纯八股） 问实习的项目 研究生科研项目 疯狂hive，hive调优 一直问联邦学习，问了两遍 等了很久很久才二面，中间还收到了安抚短信。 ———————————————————————————— 9.26二面（30分钟，纯八股） hdfs读写流程 spark算子 spark调优 数据倾斜 对荣耀有什么想了解的（了解到我面试的部门是产品线云服务） 这个

从今年暑期实习开始直到秋招一共五次面试，转了四个部门，记录一下 实习篇 # IEG一面4.6 自我介绍 项目用的是什么计算方案，技术组件有用到云服务吗 讲一讲你在项目中遇到的问题 项目中计算内存不足调yarn内存，为什么不是spark内存 能讲一讲spark的相关概念吗（讲了基本架构，说任务提交流程太紧张没说完） 面试官提醒讲RDD的容错机制 小表join大表怎么优化的 多小可以叫做小表 数仓当中

秋招篇 # PCG 8.24 一面 秋招并没有投腾讯，是直接被捞起来面的 自我介绍 讲实习内容 讲实习当中做的最好的工作 面试官总结了一下我刚才讲的（好像觉得做的不够难。。） 介绍spark RDD spark程序里面不写action算子，程序会执行吗（肯定的答会。。） 数据倾斜有哪几种 mysql数据库索引有哪些 数据库事务介绍 平常mysql用的多吗 有了解过doris、clickhouse这

个人情况：本双一流硕211非科班，一段搞深度学习的实习。项目自己做的。全程面试被追问麻了面试官有问题必追问 自我介绍 项目深挖（20min） 实习工作介绍（5min） 数据倾斜有哪几种解决方法 Group by 倾斜，join倾斜，null值倾斜 分别说说这些倾斜怎么解决：全说上来了，面试官问：还有呢？。。。开启负载均衡，对小文件进行合并，对数据类型进行检查，还有呢？我就记得这些了 Hdfs小文件

部门：优选事业部-美团买菜 timeline: 8.24 一面 8.28二面 8.31 hr面 9.7 oc 一面： 项目介绍 什么是指标体系 指标体系包含元素 指标分类 数仓分层、分层好处 数仓分层和指标分类之间有什么关系 什么是总线矩阵 什么样的数仓是一个比较好的数仓 什么方法可以落实上面说的数仓 缓慢变化维；除了拉链表还有哪些方式 什么情况下可以使用map join 怎么解决数据倾斜问题 J

面试时间：60min 我的方向是数据开发，但感觉数开岗位比较卷，加上之前也有一段网络爬虫的实习经历，投了快手的数据采集岗。面试官人还不错，主要问了爬虫项目和我简历上一些大数据的技能，但好像还是方向不太符合，他们更想要会Java开发、app逆向的，最后还一直安慰我。 面试官介绍部门业务和流程 现在还在实习吗？有其他公司在流程吗？ 自我介绍 实习介绍？（公司，部门，项目） 开发的Xpath工具介绍？

机器学习树模型 GBDT与RF区别 XGB如何并行生成树 XGB优化方面对GBDT 深度学习 GRU通过什么方法保留前面时序的信息 GRU损失函数 word2vec cbow和skip-gram区别 cbow一个原理 交叉熵损失与kl散度 数据结构 单词表格，内存很大的表，运行内存很小，如何通过查询出现次数最多前100单词 python python内存管理机制 装饰器 pandas apply/

1.HashMap底层存储结构是什么数据类型 2.&& 和 &，| 和 || 的区别 3.ArrayList是否是线程安全的 4.异步IO是什么，使用场景 5. 数仓分几层，各层作用。 6.Spark 常用算子有哪些。 7.map和mapPartition的区别。 8.在你使用Spark开发中，会使用哪儿些手段来优化你的程序。 9. spark的cache和persist算