《大数据开发》专题

一面 实习介绍 mr过程 mr和spark的区别 spark shuffle 举例说明事实表和维度表的设计 拉链表设计 3道sql题 row_number rank dense_rank区别 二面 实习介绍 怎么设计数据指标 集群故障怎么排查解决的 自动化运维脚本怎么写的 实习的收获 项目介绍 讲一张你最熟悉的维度表，怎么设计的，说说都有哪些字段 拉链表优缺点 你觉得实际拉链表用的多吗 用的不多为

一面 1.自我介绍 2.实习经历介绍，负责的项目模块，有多少张表，为什么要做这些表，涉及哪些方面的建设 3.对业务的了解，是你和需求方直接对接吗，参与过砍需求的过程吗 4.模型设计到最后交付的数据开发全流程，有没有中途变更过需求，最终有多少个指标和维度 5.你怎么把这么多维度放到一张表里面呢，oltp引擎怎么样使用的 6.指标都是可以累加的吗，有没有想过把可加的和不可加的指标分别放到不同的表中 7

问项目 根据项目问了一个sql如何写 聊七聊八 20min 挂了

1.自我介绍 2.项目细节介绍 3.针对一个指标讲讲你整个链路怎么设计的 4.数据交付时数据质量如何保证 5.如果现在调度的表都是高优先级，你这个表延迟产出了，怎么办 6.hive架构介绍 7.hive优化器会做什么，详细讲讲谓词下推 8.小文件产生原因，危害，解决方法 9.spark遇到的挑战 10.实时了解过吗 11.你们公司的数据链路，数仓分层是怎么样的 12.数据怎么采集的，binglog

1.自我介绍 2.项目内容：背景，uv，pv，功能，项目人数，分工 3.数仓的设计思路 4.分层数仓和使用普通数仓的区别 5.为什么ods不直接对接app层，有没有考虑过增加一层数据集市层 6.项目用了哪些技术栈 7.hdfs如何保证高可用 8.hdfs写入数据流程，写入过程中datanode挂了怎么办 9.小文件原因，危害，解决方法 10.数据倾斜介绍，数据倾斜如何排查 11.spark的两种s

介绍开源项目 介绍离线数仓 可视化用的什么框架 spark的submit的参数 了解和做过数据清洗吗 数据怎么清洗 数据倾斜的优化思路 了解scala吗 给场景进行去重 和 选最近一条数据 两道代码 两数之和 数组的小和 1个小时 有些忘了

问的都是数据结构的问题 1.给一个整数，怎么把它翻转（123转成321） 我说用字符串他说不行 2.忘了 3.有两个整数型数组，里面的整数范围都是1-1000w，问怎么找出两个数组中相同的数字 已挂

#软件开发2024笔面经# 2024字节跳动面试 数据岗位 1.模型开发的流程，需求调研过程中有哪些人员参加，调研过程，你会输出什么文档？ 2.如何保障数据质量（准确性）？ 3.spark有什么优缺点？在使用过程如何规避缺点？ 4.spark内存模型？ 5.spark和MR为什么会进行shuffle，如何减少shuffle？ 6.小文件治理的方式？ 7.主题域建设的流程？ 8.大表join大表的优

#软件开发2024笔面经# 二战字节 一面 自我介绍 介绍实习工作 平时做什么 数据量多大 数据仓库理解 怎么分层的 Spark执行流程 Spark内存划分 SQL优化方式 布隆过滤器 JVM内存模型 垃圾回收 双亲委派 SQL题 连续登录 算法题 LRU 二面 自我介绍 介绍实习 数仓为什么分层 主要解决什么问题 两道算法题 链表删除元素 和 在数组中快速查询数据 布隆过滤器 半连接查询 gro

1.自我介绍 2.实习 关注准确性和效率等指标的权衡 3.项目 4.sql全勤员工 两天没消息了忍不住打电话问了，hr接起来电话来第一句“你是浙大同学吧，我们交叉面隔壁部门面试官忙” ？？？？浙大去网易干外包做数开？？？？？我是不能理解

岗位：软件开发工程师-数据开发方向 部门：核心本地商业-基础研发平台 技术岗位处女面，运气挺好，没有被问到完全不会的题，感谢团子缓解我的焦虑 4.30 一面（60min） 1.自我介绍 2.介绍项目架构，数据源等 3.项目中遇到的难点 4.数仓为什么要分层，各层的职能 5.讲一下项目中提到的零点漂移问题 6.hive结构， 7.hive优化 8.数据倾斜 9.tcp三次握手 10.进程和线程的区别

最难绷的一集，感觉KPI面 1.自我介绍 2.介绍项目，你这不就是最普通的广告曝光么，有什么区别，客群标签是你们加工的吗，数据流图是什么，有啥用 3.项目难点，业务上的难点，你这种方法也没解决业务的难点啊（我真难绷，业务对接过程的问题我咋解决，我最多减缓） 4.介绍hive or spark 5.数仓开发的关键点，每一层的作用 6.反问：我终于说出了那句一直想说但不敢说的“我没有什么问题要问”，润

如何将数据导入数仓 ods层数据量有多大 flume如何保证数据的一致性和完整性 数仓分了哪几层 维度建模的模型，为什么使用这个模型 表的数据变化如何进行分区 dws层如何设计，举项目中例子 用到了哪些开窗函数 row number遇到数据一样如何排序 left semi join 和？？？的区别 orderby和sortby的区别 sparksql和hivesql的区别 arraylist和li

一面（4.24）： 总体30 min 1.为什么在上一家公司离职 2.对公司有什么诉求 3.理解到你的诉求是想提升技术了，那假如在公司干活不能提升你的技术那你会怎么办（跑路） 4.你希望自己以后成为什么样的人 5.AB test 6.标准明细表（没太听懂） 7.数仓的分层 8.spark为什么比MR快 9.项目中具体干了什么活 10.你觉得沟通很重要吗 11.如果你有简单的方案可以完成业务方的需求

一面 项目深挖 数仓分几层，每一层的作用 事实表如何设计 维度表如何设计 数据域如何划分 业务总线矩阵的概念 如何设计完整的指标 开发中和上线后数据质量如何保证 如何设计调度，依据是什么 hive数据倾斜解决办法 hivesql常见优化手段 什么是spark宽窄依赖，起到什么作用 sql题：用户连续登录游戏的最大天数，允许间隔一天 反问 做什么业务 教培业务中的线下面授分析 网络问题迟到了一会，面