《数据开发工程师面经》专题

公司：广州网易互娱 面试时间：2024.07.23，共计65分钟 共两位技术面试官，轮流提问 流程：自我介绍、项目、基础知识(Java基础方面、数据库方面、计算机基础方面(操作系统)、计算机网络方面)、算法笔试。 问题 自我介绍 项目方面 成本治理中负责的工作内容 数据平台中，任务计算成本的计费维度 Spark作业从哪些方面可以发现能够优化？ Spark作业可以从哪些方面进行优化？ 从哪些配置入手

今天早上刚洗漱完，托舍友的福十点才刚准备出寝室门，突然一个电话打进来，说是海信的想给我进行简短的电话面试，我寻思这种面试会问什么问题随即应允。但没想到会把我问成这样...... 开局问我自己本科和研究生都学了些什么，然后不依不饶的追问我研究生学了什么？接着问我在实习期间做的数仓的底层架构和数仓设计，问从后端到前端的数据流程，问存储介质是什么，接着问数据是怎么流转的一连串问题让我难以招架；之后问我在

#浪潮25提前批# 时长10分钟 1.为什么投数据岗 2.了解和使用过哪些数据库 3.如何提高MSQL查询效率 4.接触过python脚本吗 5.python中的命名空间是什么 6.java开发过程中遇到最多的报错是什么 7.数组越界产生的原因，如何解决 8.空指针在什么情况下会产生，如何解决 9.equals和==的区别 10.还有哪些方面的知识想更多学习一下 11.对大数据比较感兴趣吗

1. 请简述您如何理解腾讯的企业文化，并结合您的经验谈谈您如何融入这样的文化环境。 2. 在团队合作项目中，您通常扮演什么角色？请举例说明您如何在团队中发挥作用。 3. 描述一次您在项目中遇到困难或挑战的情况，以及您是如何解决问题的。 4. 请讲述一个您成功领导团队达成目标的经历，包括您采取的策略和最终结果。 5. 面对紧急且重要的任务时，您如何安排时间和资源以确保任务按时完成？ 6. 请分享一个

一面 50 min 一位技术很强的老哥 面试体验很好 0.开场热身 自我介绍 你以后的业务倾向于做哪一块？ 1.项目相关 介绍下你的第一个Spark 项目 双流Join，讲一下过程 你的数据过期时间是多久？为什么这么设置？ 双流 join 之后你的数据会从Redis 里面删除吗？ 你说到了用Redis 来缓存延迟的数据，如果缓存存储的数据过多会出现什么问题，怎么解决？ 猜：会出现OOM问题，我觉得

一面：80min 1、自我介绍 2、介绍部门情况 3、介绍下部门的数仓建设情况 4、简述实习里的三个实习做的项目，聊背后的逻辑 聊了好久好久 5、聊聊在字节认为部门最厉害的技术是什么 6、聊聊自己的爱好 7、觉得自己有什么有优点 8、团队协作和个人工作区别是什么，各自的优点和缺点 9、一道sql题，有两个数组，展开数据，角标相对应的取出数据 10、sql的job和stage划分，窗口函数是否会sh

一面： 无自我介绍环节，直接开问 1、聊实习项目，很细，聊了好久 2、yarn任务提交流程 3、spark的stage切分原理 4、spark任务提交流程 5、对比mr和spark，为什么都用spark 6、谈谈对hudi的理解 7、kafka的负载均衡原理 8、两道算法题，字符串相关的 9、反问 ps.好多过程不记得了 二面： 三个模块 开发 大数据 算法 不想回忆了，直接自闭，一点都不会 但是

到店业务 有点久远一直忘了写，就记得这么多 一面： 1、自我介绍 2、比赛中遇到的难点 3、实习中做的项目，聊项目细节 (大部分时间都在问这个) 我好像很多面经都这么简略的写，这次写细点儿哈，里面涉及到的一些知识点，具体项目就不聊了 数仓模型设计方法 数据质量如何判断 如何保障下游查出时间 对于重要程度不同的任务如何合理分配资源 dwd层建模方法，考虑哪些东西 spark任务调参逻辑和常用参数 c

一面难绷，上来就问hashmap 我说先自我介绍吧，面试官说啊对对对 介绍完了，开始问项目，问实习， 全程听完之后，好，下一个问题哈，瞟一眼出题，然后八股，问了十几分钟 我也懒得答太详细了 就给我出题，反转链表 精彩部分来了，他不知道哪里把题目发给我，也不知道让我在哪里写，我说不用发题目给我，我在聊天框写，写了一会发现格式难调，他就让我口述，口述完之后，他就说你有什么想问的吗，我说我没什么想问的，

1、计算机网络： （1） TCP的三次握手和挥手 （2）OSI7层模型，每层分别有什么作用 （3）对哪个层的了解比较多一些，平时用得最多是哪一层 （4）传输层的协议有哪些 （5）是否对ip协议有了解，ip协议的分类等 2、数据结构 （1）数据结构的分类 （2）红黑树、平衡二叉树查找的过程、原理 （3）hash,hash冲突，解决hash冲突时单链表长度过长的问题 （4）大小堆 3、算法 （1）堆排

1.自我介绍 2.数据采集相关，怎么把kafka中的数据采集到mysql中？ 忘了 3.hive，两张表的重复数据，怎么去重？ 回答distinct,group by ，开窗取第一条， 开窗函数是哪个？ 没回答上来 4.udf函数写过吗，flink消费kafka中的数据写过代码吗，需要看代码？ 5.使用java干过那些代码？ 面试时长：10分钟，面试效果，差 不足：对于简历上的内容，回答支支吾吾，

10.1 -1面：面试官在家，聊的很开心，后边几乎都是我在说自己做了什么，感觉很尊重人 10.11 -2面：面试官很亲切，一开始想电话面，然后问我在哪，我说在面试平台上，又改到了平台面（很尊重了。期间问了各大组件各大知识，加一些场景比如下游不支持事务和幂等，怎么来做精准一次，就是会问一些没有答案的问题，然后根据你的答案提出问题，直到不会。（名场面：你遇到OOM吗；我遇到过；那你谈谈什么时候遇到OO

一面（2023.9.15) 11点开始，11点41分结束 面试官很和蔼，不过周围有点吵。（面试官叫王xx，我不太记得了，人挺好的） 自我介绍 实习项目介绍（我这真是面出经验了，只要你项目他不感兴趣，接下来就是八股时间） 学校里有什么课程 八股问的多到离谱，总共就30分钟不到，全八股。 int和Integer有什么区别？ Integer(200) new 两次，他们是一样的吗？ valueOf方法介

时间：2022年7月1日 面试职位：大数据开发工程师（留用实习生） 如题，留用实习生也就是平时说的暑期实习生，有转正机会的实习生 面试流程，自我介绍，什么时候能入职，学校的事情都已经忙完了吗， 我简单的说了一下情况然后第一问题： ①怎么平衡学校的课程，论文的研究工作，和找工作的时间安排    ②说一说自己的实习经历 ③看到我写电商数仓的项目，介绍一下电商数仓的项目。 前面的问题都回答的还好，但是这

👥 面试题目 hadoop的三个核心组件，以及hdfs的读写原理 hive的内部表与外部表有什么区别 hive里面的数据倾斜是什么？怎么去处理？该怎么去预防？ 数据仓库的分为几层？每一层是做什么的？是根据什么进行分层的？ hive里面的窗口函数有没有用过？rank(),,dense_rank(),row_number()这三个有什么区别？ hive里面数据表合并是怎么合并的？ ​hive里面的列