《大数据开发工程师面经》专题

一面： 主要还是挖简历 自我介绍 问项目经历，聊聊过往开发的项目（聊了很久） 聊聊MySQL的事务 细聊ACID 隔离级别 innodb默认级别 innodb的底层数据存储 对比mysql和hive kafka为什么吞吐量大 场景题目：100个G的文件，保存用户id和看的bookid，求top10阅读量的书 反问

一面： 感觉一上来就是主管面，主业务面，考验业务能力和沟通能力 介绍下专业的课程，说说最喜欢哪一门，为什么 直接问实习经历 实习中的项目，扣细节（大部分时间都在问这个） 在同程做了什么业务 广告业务数仓负责哪些东西 广告投放的指标，如曝光、转化等等 广告有哪些类型 聊聊广告投放流程，投前、投中、投后 投中的过程每一轮具体的事情 对比hive和spark 为什么业界都用spark不用mr了 聊聊fl

发面经，攒好运 面试官是个小姐姐，说话非常温柔，但万万没想到面得内容和后端确实关系不大 自我介绍 你用了redis，那能说说他有什么好处吗以及他适用于什么场景？ 那redis有什么缺点呢？（我不太清楚，只能说内存要求可能比较高？以及缓存雪崩和击穿） 数据库四大特性以及四大隔离级别 说说持久性 索引以及你用过索引吗 分享一下你在做项目的时候有没有遇到什么比较大的挑战 然后考了一道简单的mysql j

首先是自我介绍：balabala 是否了解过数仓和Spark？ 再Linux系统中，找到对应的Java进程并删除。 同样的在 Linux系统下，删除使用某端口的进程。 介绍一下Mysql和LSM，并分析下这两种引擎是基于什么？适用于什么场景？ sql编程题：牛客每个人最近的登录日期(二)() 算法题：二叉树的最大路径和 (较难) AC Code： class Solution { public:

#国企#一面 约37min 1. 介绍一下项目 2. MongoDB分布式存储是怎么做的？ - 数据分片是怎么做的？ - 如何保证节点间数据的一致性？ - 如果有节点挂掉会怎么办？ 1. 地理数据如何索引？ 2. 喜欢用什么开发语言？ 二面 约40-50min - 自我介绍 - 问了一些奖学金的情况 - 介绍项目经历 - 对分布式事务了解吗？解释一下分布式事务是做什么的 - 如何保证分布式事务的原

公司：广州网易互娱 面试时间：2024.07.23，共计65分钟 共两位技术面试官，轮流提问 流程：自我介绍、项目、基础知识(Java基础方面、数据库方面、计算机基础方面(操作系统)、计算机网络方面)、算法笔试。 问题 自我介绍 项目方面 成本治理中负责的工作内容 数据平台中，任务计算成本的计费维度 Spark作业从哪些方面可以发现能够优化？ Spark作业可以从哪些方面进行优化？ 从哪些配置入手

开局自我介绍，然后问我两段实习经历，分别做了什么？照实回答，问我有没有接触过BI工具，我说是内部封装好的；日常工作，处理的数仓规模，人员规模，主要负责内容，处理的数据的大小。之后让我写一道题目，求连续三天消费金额大于100的用户ID，不想用排序函数再写了所以用了LAG函数来写，面试官给了我一个不置可否的表情（坏了可能写错了......）然后说我明白你的思路了，我解释说因为不想用排序函数来写所以尝试

投递岗位：大数据开发工程师（广州） 时间线：9.5投递，9.13技术一面，9.17技术+hr二面，9.19测评，10.7 意向 JD如下，岗位偏数据平台建设，非数仓 面经 技术 自我介绍 项目中最大的收获是什么，数据治理讲一下 hive分区表怎么创建（具体到关键字），分区的好处，怎么设计分区 hive分桶表怎么创建（具体到关键字），分桶的好处 hive外部表建表语句 （具体到关键字） hive s

今天早上刚洗漱完，托舍友的福十点才刚准备出寝室门，突然一个电话打进来，说是海信的想给我进行简短的电话面试，我寻思这种面试会问什么问题随即应允。但没想到会把我问成这样...... 开局问我自己本科和研究生都学了些什么，然后不依不饶的追问我研究生学了什么？接着问我在实习期间做的数仓的底层架构和数仓设计，问从后端到前端的数据流程，问存储介质是什么，接着问数据是怎么流转的一连串问题让我难以招架；之后问我在

👥 面试题目 hadoop的三个核心组件，以及hdfs的读写原理 hive的内部表与外部表有什么区别 hive里面的数据倾斜是什么？怎么去处理？该怎么去预防？ 数据仓库的分为几层？每一层是做什么的？是根据什么进行分层的？ hive里面的窗口函数有没有用过？rank(),,dense_rank(),row_number()这三个有什么区别？ hive里面数据表合并是怎么合并的？ ​hive里面的列

1. 请简述您如何理解腾讯的企业文化，并结合您的经验谈谈您如何融入这样的文化环境。 2. 在团队合作项目中，您通常扮演什么角色？请举例说明您如何在团队中发挥作用。 3. 描述一次您在项目中遇到困难或挑战的情况，以及您是如何解决问题的。 4. 请讲述一个您成功领导团队达成目标的经历，包括您采取的策略和最终结果。 5. 面对紧急且重要的任务时，您如何安排时间和资源以确保任务按时完成？ 6. 请分享一个

1、计算机网络： （1） TCP的三次握手和挥手 （2）OSI7层模型，每层分别有什么作用 （3）对哪个层的了解比较多一些，平时用得最多是哪一层 （4）传输层的协议有哪些 （5）是否对ip协议有了解，ip协议的分类等 2、数据结构 （1）数据结构的分类 （2）红黑树、平衡二叉树查找的过程、原理 （3）hash,hash冲突，解决hash冲突时单链表长度过长的问题 （4）大小堆 3、算法 （1）堆排

1.自我介绍 2.数据采集相关，怎么把kafka中的数据采集到mysql中？ 忘了 3.hive，两张表的重复数据，怎么去重？ 回答distinct,group by ，开窗取第一条， 开窗函数是哪个？ 没回答上来 4.udf函数写过吗，flink消费kafka中的数据写过代码吗，需要看代码？ 5.使用java干过那些代码？ 面试时长：10分钟，面试效果，差 不足：对于简历上的内容，回答支支吾吾，

45min 自我介绍 数仓项目的数据采集模块怎么做的 flume组成，各个模块的功能 为什么要使用这些source或者是sink file channel和memory channel有什么区别，分别在什么场景使用 flume内部原理 sink消费能力弱，channel会不会丢失数据 数千台机器需要采集日志小文件到hdfs上，该怎么办？ 数千个flume要怎么统一配置，修改就分发吗？ maxwel

一面 redis： RDB和AOF的区别 AOF中记录的是什么，RDB中记录了什么 过期数据的删除策略 使用这些删除策略可能会出现哪些问题 定期删除是所有数据删除吗 内存淘汰机制 allkeys详细说说 redis使用场景 redis和memcached有什么区别 为什么用单线程不用多线程 clickhouse（实习里用的主要是这个）： 简单介绍一下clickhouse，说说为什么用这个 说一下R