《大数据开发面经》专题

一面：投的数研，实际数科 1.自我介绍 2.实习内容 3.实习团队架构 4.map reduce原理 5.数据倾斜有没有遇到过？怎么解决 6.ab实验原理、流程、如何分析 7.假设检验原理 8.口述sql题目：求连续登陆三天的用户 9.假设检验概率论场景题：求置信区间 10.常用的机器学习算法 11.随机森林原理 12.求职意向，数科还是数研，安排下一轮面试官（回数研后第二天结束流程） 13.反问

saas平台,商城商品模块相关表设计 交以下内容 初始化数据 1.表数据字典 2.生成语句 3.自行模拟的数据导入语句 业务数据 1.后台新增语句 2.后台修改语句#秋招#

题型：20道选择题，3道编程题，其中第一题写SQL 笔试太难了？可以私信我 有些AC有些通过率还行，助攻已经进面了 选择题： 下列排序中需要额外辅助空间的期望值最大的是() 堆排序 希尔排序 快速排序 冒泡排序   双十一快到了,某服装厂为了赶制订单,加班加点使用设备生产衣服。如果某一设备在时间长度为的时间内发生故隙的次数服从分布N(t)～P(λt) (H松分布)，求该设备在无故障工作8小时后再次

秋招第一面给了平安产险，投的平安产险总部科技管培生-数据开发，9月11投递的，9月16测评，9月18笔试，9月27开始一面。 3点59分，面试官准时打来电话，首先是自我介绍，然后面试官让介绍实习的项目，后面会根据简历上你写的东西问，其实也是岗位要求写的那些，问了数仓分层，还有java垃圾回收机制，数据结构，数学建模等方面相关的，历时23分钟，虽然答得不好，但是面试官也没让我难堪，说自己当时也是这么

1.自我介绍 2.数据仓库分层 3.介绍项目 分工 难点 数分和数挖哪部分做的多 4.三范式 5.事务基本特性 6.存储和函数有什么区别（没懂） 7.为什么来杭州 8.反问

一轮技术面 已oc 自我介绍 数据倾斜 工作中遇到不会的技术栈怎么办 和业务方沟通的case

一面 聊实习 数仓怎么分层 为什么要分层 sql 连续登录天数最多的用户 窗口和聚合函数的区别 mr和spark对比 还有些问题不记得了 应该寄了，莫名紧张，发挥太差了 #面经##滴滴#

顺带分享面经 9.05到家一面： 自我介绍 实习相关 画像表和指标维度表的区别 标签体系 数据结构基础。dag如何排序 算法，删除链表重复元素 9.18美团平台一面： 数仓分层 spark任务提交 数据倾斜，如何处理 数仓好坏 开发完成之后如何做数据验证，如何确保是对的 反转链表 9.20二面： 学校 实习 在实际工作中对数仓理论的认识 如何对订单数据建模，考虑哪些维度 任务跑得慢怎么分析 如何估

聊项目 面相对象三大特性 JVM内存结构 Hashmap springIOC AOP 缓存雪崩 sql问题

已Offer 技术面（1h，已过） 1. 自我介绍 2. 问了一下实习，开始挖项目 - 说说你的项目架构，整个流程是什么样的 - 如果让你构建一个大数据分析平台，你会选择哪些组件？（主要是数据存储、计算等） - 如果是要求实时处理呢？ 3. 问Flink（不会，直接跳过） 4. 为什么选Clickhouse？和其他OLAP数据库相比有啥特点？ 5. 八股 - 进程与线程区别 - 说一下Spring

9.20 24届非科班本发面筋攒好运！ 第一次面+太紧张+基础不好+算法出没见过的hard = 寄 组是偏基础架构的 自我介绍到一半简介项目的时候就被打断了开始撕项目(乐 学习的方法 离线项目： 1.分层的好处，为什么分层 2.idmapping 3.拉链表的逻辑(用户活跃区间的中间表)，下次还应该解释一下这个中间表的好处以及为什么方便。 实时项目: 1.维表动态注入的意义在哪里，为什么不直接写入

这轮比较关注底层 1.自我介绍 2.个人信息和实习时长进一步沟通 3.问项目，进一步阐明下项目细节 4.HDFS备份文件数量 5.HDFS读文件底层原理 6.HDFS写文件底层原理 7.追问是写完一个文件就返回还是所有备份写完才返回 8.问MapReduce原理 9.问Hive内部表和外部表的区别 10.问Hivesql咋转换到MapReduce的 11.问Hive可以用啥作为元数据库 12.Hi

10.11号下午电话一面 约半小时 自我介绍 没有实习经验----------那就先不问--------没有实习经验也没事，那就描述些可以展现思维的方面的。 描述了科研项目---------问了一些问题。 知道应聘的这个岗位是做什么的吗? 对数据库的了解 锁 对数据结构和算法的了解 实践有多少 对C++的特性的了解 对设计模式的了解 反问环节 第二天出结果，收到二面技术面 10.13号上午电话二面

一面 实习深挖 对于高耗时任务的代码优化思路 如何发现不必要的扫表 sparksql和hivesql有什么区别 sparksql和hive on spark性能有差异吗，差异在哪 hdfs架构 datanode心跳机制 datanode挂了之后会怎么样，容错机制是怎么样 机架感知 有限内存下的一亿数据怎么排序 了解哪些shell命令 有a，b两个文件，存的都是id，写shell找出a中有但b中没有

1、spark shuffle过程，越具体越好，细化到组件，map task以及reduce task具体过程 2、你说bypass shuffle是每个executor节点生成对应reduce task数量的结果文件，那mergesort shuffle呢 3、reduce task 如何知道哪些map task完成了，又是怎么拉取的 4、spark 写文件流程？commit流程？ 5、spar