《大数据开发工程师》专题

8.24大疆安全技术开发工程师一面挂 更新一下，这两天一直有人问我，早都挂了 网上关于这个岗位的面经很少，我就随便写写吧 8.14笔试/8.17约面/8.24一面 收到面试通知很意外，笔试时第二道编程题没写出来，居然还能面试 下午5点面试，一上来首先是自我介绍 然后开始问问题： 同态加密介绍、使用场景 为什么用多线程，线程是越多越好吗 C++11新特性 设计模式 对称加密与非对称加密 非对称加密数

时间：10月 2技术面+hr面 已OC 一面 20min 自我介绍 重点聊聊你专业方面的一些积累、基础知识，项目经历、角色、贡献 主要讲安卓 说到Intent传Bitmap的问题 你用了全局变量 是不是得特别关注销毁和管理 管理周期（？有点怪） 假如说要查询数据库某一天的数据 一般我们数据精确到秒/毫秒级别的时间戳 这种时间格式怎么进行筛选 怎么去比较（说了from_unixtime和dateti

离线数仓项目介绍 hdfs读流程 hdfs 中datanode怎么与namenode交互 mr过程 hive数据倾斜，介绍原因和解决方案 介绍一下网络结构，tcp在哪一层 java有哪些集合类 介绍java接口 MySQL索引 数据结构（B+树） 反问 上海银行数仓技术框架

2024.1.9 面试 Boss直聘沟通 公司要求驻场开发，接受加班，接受出差 你是25届是吧？能在六个月左右是吗？目前在校吗？ 后续有什么规划？ 你怎么理解数据开发这个岗位的？ 讲讲简历上这两个项目？是你在学校做的是吧？ 项目你是全程参与是吧？ 聊天这个项目的数据源是哪里来的呀？ 项目整体是落在HDFS上是吧？ 单一架构，嗷，然后可视化，是哇？ 下一个电商项目介绍一下？ 数据来源讲讲？ 那意思是

去年秋招拿了携程-大数据底层框架开发岗位的offer，想着还是把面试回顾下吧，给后面的朋友一个参考。 这个岗位是做大数据组件底层二次开发的，我面试的是偏向离线方面，因此面试都是围绕hadoop、spark、hbase、hive这几个组件的底层原理去问，因为是偏向底层，所以也会注重java语言和多线程并发的知识。 HDFS的写入流程？如果一台机器宕机，HDFS怎么保证数据的一致性？如果只存活一台机器

1. 自我介绍 2. 实习做了些什么 最有成就感的需求 最难的需求 等等 3.反问 没有问什么技术问题，没有做题，全程就20min，感觉要挂

一面 50 min 一位技术很强的老哥 面试体验很好 0.开场热身 自我介绍 你以后的业务倾向于做哪一块？ 1.项目相关 介绍下你的第一个Spark 项目 双流Join，讲一下过程 你的数据过期时间是多久？为什么这么设置？ 双流 join 之后你的数据会从Redis 里面删除吗？ 你说到了用Redis 来缓存延迟的数据，如果缓存存储的数据过多会出现什么问题，怎么解决？ 猜：会出现OOM问题，我觉得

面试内容： 1，自我介绍。 2，研究生的方向和毕设题目。 3，主要的技术栈（会使用哪些编程工具，数据库），回答了只会Python+一丁点Java，后面就专注问Python内容了。 4， 实习的工作内容。 5，看CV中有机器学习的项目，讲讲逻辑回归，属于判别式or生成式？决策树中的减支。 看CV中有数据清洗的项目，讲讲数据清洗，缺失值处理的内容。 6，学过计算机的哪些基础课程？ 7，Python中的

2022-07-22 时长1h 1 自我介绍 2 数仓项目数据量多大 3 几个shell问题，监控spark日志内容并写入到另一个文件、实时监控spark日志内容 4 Java关键字、面向对象三大特征、接口和抽象类区别 5 set list map区别 6 介绍JVM内存区域，String是基本数据类型吗？基本数据类型变量存在哪里 7 垃圾回收机制 8 新生代老年代对象是如何流转的 9 创建线程的

2022-07-27 下午 时长1h5min 百度的面试官真的很好，这点没得说 1 自我介绍 2 数据倾斜——结合业务说了分组聚合和join，大表大表join怎么解决数据倾斜，展开说 3 SQL 没做出来，但是面试官全程提示，沟通交流 4 Hive和Spark哪个比较熟悉，我们聊一聊——都比较熟悉，问了Hive组件和底层执行逻辑，逻辑计划优化有哪些方法，什么是谓词下推（自己提到了） 5 算法：数组

１ｈ 面试官没开摄像头，然后我也没开～ 1. 自我介绍 2. 项目介绍 3. Java NIO原理，与BIO有什么区别 4. 线程不安全的类有哪些 4. G1回收器原理 4. 类加载过程 4. GCROOTS由什么组成 5. 数据库索引 6. 数据库的事务和一致性 7. 计网分层结构 8. TCP和UDP的区别 9. TCP怎么实现可靠传输 10. HTTP3.0展开讲讲 11. 进程和线程的区别

40min 1面 自我介绍 项目介绍 做题：一道算法， sql2道 数据库索引有什么用 索引失效的情况 spark提交作业的流程 spark 共享变量有哪些 广播变量怎么实现的 hive外部表和内部表区别 hive优化，项目中使用到了哪些，展开讲讲 kafka是读写分离 为什么不做读写分离 mysql事务 40min 2面 自我介绍 项目介绍 算法题（20min） hard plus 没写出来最优

9.26 一面 （10.12感谢信） 20min+ 自我介绍 项目介绍 介绍下数仓分层？做了哪些数据处理？ Spark反压机制？ HDFS读写流程？ kafka中出现数据堆积如何处理？

视频面，1h 吐槽：我8.11投递的岗位...八月底做完的笔试....10.21给我发邮箱约面，也不知道前面是哪个大佬拒了offer然后把我给捞上来了 但是，面试官人很好啊~面试体验很好~ 虽然我很多没答上来只能说分治思想贯穿了全程... 无自我介绍 实习 由于我有数据开发相关的实习，所以前30min各种问实习 做了哪些工作，怎么做的，任务挂了怎么办，怎么做的清洗，用的啥语言，用的是啥架构/工具？

10.20 一面 25min 自我介绍 Hadoop三大组件介绍 MR Shuffle的过程？ Spark shuffle和 MR Shuffle概念和区别？ shuffle作用？ shuffle中涉及到哪些排序？快排和归并排序时间复杂度是多少？ 宽窄依赖概念，如何划分？ 一亿条数据如何找出top100？ 归并排序 未来职业规划？ 反问