《数据开发工程师面经》专题

一面 自我介绍 Linux常用命令 grep用法 tcp udp区别 http https区别 在浏览器里输入url到整个界面加载过程 线程进程区别 ==和equals区别 单列模式 算法：字符串反转（递归双指针两种思路） 找到1-N中缺失的那个数参数为int [] nums,int n (比如nums={1,2,3,4,6},n=6缺失的数就是5) （数学公式位运算亦或两种发方法） 针对第二道题

１ｈ 面试官没开摄像头，然后我也没开～ 1. 自我介绍 2. 项目介绍 3. Java NIO原理，与BIO有什么区别 4. 线程不安全的类有哪些 4. G1回收器原理 4. 类加载过程 4. GCROOTS由什么组成 5. 数据库索引 6. 数据库的事务和一致性 7. 计网分层结构 8. TCP和UDP的区别 9. TCP怎么实现可靠传输 10. HTTP3.0展开讲讲 11. 进程和线程的区别

40min 1面 自我介绍 项目介绍 做题：一道算法， sql2道 数据库索引有什么用 索引失效的情况 spark提交作业的流程 spark 共享变量有哪些 广播变量怎么实现的 hive外部表和内部表区别 hive优化，项目中使用到了哪些，展开讲讲 kafka是读写分离 为什么不做读写分离 mysql事务 40min 2面 自我介绍 项目介绍 算法题（20min） hard plus 没写出来最优

hive的架构 hive外部表和内部表的区别 内部表的数据由hive管理，且存储在hive.metastore.warehouse.dir配置下的路径中；外部表的数据由HDFS存储，路径可以自己指定； 删除表时，内部表会把元数据及真实数据删除；外部表不删除真实数据。 你用过hive哪些窗口函数 可参考：面试官：你用过哪些窗口函数 一般用什么文件格式 可参考：面试官：“你们实际生产中hive用什么文

1.Java的数据结构相关 2.HashMap怎么解决哈希冲突的 3.HashMap和HashSet区别 4.Spark shuffle 5.Maven会用吗，怎么解决版本冲突？ 6.实习相关 反问 做什么的？用什么？ 偏底层，主要是做Spark和Flink底层的一些东西

一、spark如何划分job，stage，task 遇到一个action算子开启一个job stage是遇到一个action开始，从后往前以shuffle为边界划分 stage划分成多个task，一个分区对应一个task 二、sql题：一个用户点击记录表t，有三个字段user_id，item_id，category_id 统计每个用户的每个商品类别的点击总量排名中，top3的商品 类别 selec

面试战况为4对1拷打，虽然没有手撕，但鼠鼠受到了终极八股+项目拷打 上来自我介绍+项目 讲10min Sql相关：mvcc，事务，索引。Sql的限制（啥东西）查一个表索引重复怎么办？ 给题说思路：包括连接，开窗，去重，等等各种，explain，sql优化， Binlog，undolog，redolog（这部分答的还行） Linux：蚌埠住了，不该说会linux的 改用户名，找一个文本具体某行，修改

10.23 非科班，只学了离线的技术栈，没项目，投了一个月全被拒了。（百度 美团 得物 滴滴 蔚来） 一面二面八股问的简单也都答出来了，但是算法题都是暴力求解，竟然过了，三面感觉八股有点冷门，算法题做出来了结果挂了，究极折磨，有点难受！ 数仓分层，什么是主题 Kafka怎么保证数据一致性 Hdfs有哪些数据存储类型，有什么区别 Spark和MapReduce的比较 为什么转行 做过的数据分析案例

视频ms 前三分钟 自我介绍 数据仓库的了解 怎样设计数据分层 了解的大数据组件 spark用于解决什么问题 spark底层逻辑 sql的join实现方式 举例A（3） join B （5） 有几条数据 join底层逻辑 sql题 查询用户峰值 全程不到30分钟 **我就是一个小菜鸡。问就是面试凉凉 问的其实感觉没有特别难 但就是啥都不会。还是学的太过浅层次。总的来说 项目拷打 底层深挖。G

#秋招# JAVA: 1.java面对对象的特征 2.Java中基本类型有哪些 3.==和equals的区别 4.为什么重写equals要重写hashcode 5.List，map，set什么区别 6.Try，catch，finally 分别作用是什么 大数据： 7.hdfs的读流程 8.项目里用到的 hive on spark 和 普通的hive有什么区别 9.数据倾斜的优化，如果group b

一面 1.自我介绍 2.实习经历介绍，负责的项目模块，有多少张表，为什么要做这些表，涉及哪些方面的建设 3.对业务的了解，是你和需求方直接对接吗，参与过砍需求的过程吗 4.模型设计到最后交付的数据开发全流程，有没有中途变更过需求，最终有多少个指标和维度 5.你怎么把这么多维度放到一张表里面呢，oltp引擎怎么样使用的 6.指标都是可以累加的吗，有没有想过把可加的和不可加的指标分别放到不同的表中 7

问项目 根据项目问了一个sql如何写 聊七聊八 20min 挂了

1.自我介绍，城市相关 2.你对于大数据哪一块比较了解，展开讲讲 3.结合项目讲数仓建模理论 4.数仓分层的理解和好处，每一层的作用 5.app层如果下面有多个看板，他们有多个指标是重复的，你怎么设计app层才能保证数据查询起来容易又包装数据的一致性呢 6.指标体系的了解 7.原子指标派生指标衍生指标 8.日活留存率怎么算，要得到连续十五天相对于第一天的的留存率，如何优化 9.spark学到什么程

2024/9/12 16:40 40min - 自我介绍 - 我看你本科不是计算机的，你学过一些专业课程吗？ - 你是投的大数据开发吗？还是调过来的？ - 开源项目介绍 - 剩下三个项目介绍 - 你的项目Redis是单机的还是集群 - Redis 槽了解过吗 - 对Spring Boot有了解吗？ - Redis中基本数据结构 - 如果一个Hash存的对象非常大，会导致什么后果？ - 接口可以继承

1.自我介绍 2.项目内容：背景，uv，pv，功能，项目人数，分工 3.数仓的设计思路 4.分层数仓和使用普通数仓的区别 5.为什么ods不直接对接app层，有没有考虑过增加一层数据集市层 6.项目用了哪些技术栈 7.hdfs如何保证高可用 8.hdfs写入数据流程，写入过程中datanode挂了怎么办 9.小文件原因，危害，解决方法 10.数据倾斜介绍，数据倾斜如何排查 11.spark的两种s