《大数据开发面经》专题

9.11 一面 1.自我介绍 2.介绍实习内容 3.对数仓分层的了解 4.对ab实验的理解 5.对实时了解吗 6.logistic回归的损失函数 7.口述sql：简单窗口 8.反问 9.19约线下，调整成线上 9.26 二面 两个面试官 面试官1: 1.自我介绍 2.更想做数开的工作还是数科的工作 3.解释spark中的水印 4.对实时数仓的了解 5.spark数据倾斜怎么处理 6.设计一个bi产

10.16投递 10.17一面（50minute） 自我介绍 项目细节 mysql（这里问了很多） 大数据的基本八股 计算机网络tcp 一道sql题，一道算法题 （吐槽一下百度的如流，用网页端看不到聊天框，最后还是下载了客户端才看到，面百度的小伙伴记住面试了要下载如流） 反问:问了一下业务 10.19二面（30minute） 自我介绍 项目细节流程 两个项目的关系 为什么不继续做大模型 实习多久

2023/10/10 平安科技 大数据开发（37min） （1）自我介绍 （2）对于平安科技的数据开发岗的理解和认为它是做什么的？和自己的契合度是怎么样的？ （3）数据库学习到哪些东西，学了多久，什么时候学的，有实践过吗？ （4）sql分哪几类，违反主键约束会出现什么问题，索引什么情况下回失效，有自己去安装过吗？（之前没准备数据库的内容，答得很差，后边的面试才好好看了数据库的东西） （5）使用sq

1.自我介绍 2.描述一张表的设计流程 3.针对简历提问，问的不算难 4.kafka的用法及途径 5.redis的几种类型（我有写，但是忘了）， 6.有没有bi可视化经验。 ----------------- 是的，没有看错，简历上写的就会可能提问，并不会针对你。

腾讯二进宫，秒挂，简单题没写出来，太菜了。。。 自我介绍 项目相关 介绍一下java的反射 介绍一下mysql引擎 MyISAM引擎什么时候用 讲一下垃圾回收 讲一下集合 讲一下hashmap 算法题:大数翻转 (乐死了，这么简单的题没做出来，我转了字符串双指针超时) 反问: ∽具体有什么业务 提供大数据内容服务balabala ∽技术栈有什么 大数据开发岗spark之类，后台开发岗golang

1.自我介绍 2.实习最大收获 3.odps平台的性能调优与spark的性能调优的共同点和差异点 5.spark的countdistinct算子优化 6.bitmap作用在expload的作用是什么？ 7.小文件过多的影响 8.sql countdistinct优化代码手写 9.反问 #大数据开发##数据人的面试交流地#

一面——60mins 自我介绍 拉链表的制作，数据量有多少，为什么不用快照表呢 项目有哪些表 数仓分层有哪些，具体做了什么，数仓分层作用 怎么设计表，怎么建模，DIM DWD层的主题分了哪些 如何做的可视化 什么是数据倾斜，数据倾斜的解决方案 Hadoop和spark的区别 Spark的shuffle流程是怎么样的 对哪些数据库了解 Shuffle有哪几种类型 在shuffle的过程中会进行排序吗

一面：(1h) 1.自我介绍 2.选一个熟悉的项目介绍一下吧 3.看你简历上写了进行过数仓的搭建，那你说一下数仓分几层合适？ 4.每一层干了那些事儿？ 5.你说一下数仓为何要进行分层？ 6.数仓的建模方法知道吗？ 7.指标分类有哪些？（回答的是原子指标，派生指标，衍生指标） 8.你的ods层为何选择gzip压缩呢？ 9.除了gzip压缩还有哪些压缩方法？介绍他们的区别？10.项目中你的hive表使

45min 自我介绍 数仓项目的数据采集模块怎么做的 flume组成，各个模块的功能 为什么要使用这些source或者是sink file channel和memory channel有什么区别，分别在什么场景使用 flume内部原理 sink消费能力弱，channel会不会丢失数据 数千台机器需要采集日志小文件到hdfs上，该怎么办？ 数千个flume要怎么统一配置，修改就分发吗？ maxwel

字节大数据开发工程师- 人力科技面经 一面 网络模型，每一层的功能 访问一个网页的流程 tcp是如何保证可靠 线程和进程的区别 JVM的内存区域 垃圾回收算法 类加载的过程 Spark和MR的区别 Spark任务调度过程 spark中stag，job，task是如何划分的 spark宽窄依赖 为什么spark比MR快 Hadoop的框架 Hadoop提交作业的流程 Hadoop中是如何找到文件对应

1、自我介绍 2、什么是维度建模？什么是关系建模？ 3、星型模型和雪花模型有什么区别？ 4、数据仓库分层的意义是什么？ 5、对哪些大数据框架比较熟悉？（答了Hadoop和Kafka） 6、Hadoop的进程有哪些？作用分别是什么？ 7、Kafka的特点是什么？ 8、Kafka为什么可以支持海量数据吞吐？ 9、问实习工作内容，以及实习收获 10、能否接受加班？ 11、有什么问题要问我的？问了日常工作

去年秋招拿了携程-大数据底层框架开发岗位的offer，想着还是把面试回顾下吧，给后面的朋友一个参考。 这个岗位是做大数据组件底层二次开发的，我面试的是偏向离线方面，因此面试都是围绕hadoop、spark、hbase、hive这几个组件的底层原理去问，因为是偏向底层，所以也会注重java语言和多线程并发的知识。 HDFS的写入流程？如果一台机器宕机，HDFS怎么保证数据的一致性？如果只存活一台机器

1 介绍下你自己 我按照常规的套路，先自我介绍，然后介绍我的项目，想引导着问些八股，但是好像没用😂 2 32位和64位你能联想到什么，从机组操作系统，数据结构等角度，开放性的谈一下你的理解😂😂 这个问题直接问了15分钟 3 手撕代码 给你一个应用场景，设计合适的数据结构，并完成两个功能函数 看出来是树了😂😂，但是没咋刷算法，以为只问sql，我的格局小了，写了二十分钟，一点不会😂😂 总

选择题（15道）： 以xx为基准的一趟快排后的结果 分块查找的比较次数 给定入栈元素计算出栈序列的可能性 简单无向图的邻接矩阵零元素数量 哈夫曼编码一个字符串所需的编码长度 ping没有用到的网络协议 操作系统创建进程的过程 电话号码前缀查重需要的内存 （别的忘了，整体还好，纯408真题） 填空题（5道）： 二叉排序树的查找 多线程的四种同步方式 IP子网划分求掩码 （别的忘了，都不难） 简答题（

9.26 一面 （10.12感谢信） 20min+ 自我介绍 项目介绍 介绍下数仓分层？做了哪些数据处理？ Spark反压机制？ HDFS读写流程？ kafka中出现数据堆积如何处理？