大数据研发工程师面经
公司：广州网易互娱
- 面试时间：2024.07.23，共计65分钟
- 共两位技术面试官，轮流提问
- 流程：自我介绍、项目、基础知识(Java基础方面、数据库方面、计算机基础方面(操作系统)、计算机网络方面)、算法笔试。
问题 |
自我介绍 |
项目方面 |
成本治理中负责的工作内容 |
数据平台中，任务计算成本的计费维度 |
Spark作业从哪些方面可以发现能够优化？ Spark作业可以从哪些方面进行优化？ 从哪些配置入手 or 从哪些阶段入手？ |
成本治理中，缩短数据生命周期也是会有平台推荐嘛？ |
数据冷备底层实现 |
Hive表数据文件存储格式、压缩方式？ |
StarRocks各个组件的作用 |
Hive数据推送至StarRocks，使用什么工具？底层实现？ |
Spark 3+动态分区合并小文件的底层实现？ |
如何判断一张表存在小文件问题？ |
小文件一般合并到多少合适？ |
AQE特性中 spark shuffle动态调整过程？ 应该是想问：动态重分区的过程 |
Java基础方面 |
Java垃圾回收过程 |
Java反射 |
Java多态 |
Java的类加载过程 |
数据库方面 |
MySQL中 like关键字会命中索引嘛？ |
怎么判断一个SQL查询是否命中了索引？ |
介绍下MySQL中索引底层实现的数据结构：B+树索引、哈希索引 |
B+树和哈希的区别？ or 什么情况下使用B+树索引、什么情况下使用哈希索引？ |
like关键字可以命中哈希索引嘛？ |
like满足什么条件可以命中B+树索引？ |
介绍最左前缀原则 |
最左前缀是对于联合索引来说的，如果只有一个索引，使用like什么情况下索引会失效？ |
计算机基础方面 |
介绍下进程和线程，以及之间的联系。 |
使用Linux是怎么搭建大数据集群的 |
使用过Docker虚拟化的容器技术嘛？ |
Git命令了解哪些？ |
git poll时仓库代码造成了本地冲突，应该怎么处理？ |
计算机网络方面 |
http和ip的区别？ |
TCP 和 UDP 的区别？ 哪些场景使用TCP or UDP？ |
Spark作业不同executor之间建立连接使用TCP还是UDP？ |
HTTP1.1 or 1.0 使用的是TCP还是UDP？ |
一道算法题 |
反问环节 |