《大数据开发工程师面经》专题

6.27一面 20min 问简历，介绍项目提到的各种模型，做了什么优化 有没有spark实践的经历 介绍一下hadoop 了解哪些机器学习算法 xgboost和随机森林的区别 有用Java做过项目吗（无...） 反问 6.28二面 35min 简历项目一个一个详细讲 transformer编码器解码器区别 transformer位置编码的情况 spark实践经历 反问

视频面，1h 吐槽：我8.11投递的岗位...八月底做完的笔试....10.21给我发邮箱约面，也不知道前面是哪个大佬拒了offer然后把我给捞上来了 但是，面试官人很好啊~面试体验很好~ 虽然我很多没答上来只能说分治思想贯穿了全程... 无自我介绍 实习 由于我有数据开发相关的实习，所以前30min各种问实习 做了哪些工作，怎么做的，任务挂了怎么办，怎么做的清洗，用的啥语言，用的是啥架构/工具？

1. 自我介绍 2. 问了一下简历上的项目（研一在国电做的） 3. Spark有没有过调优 4. 基于我对Spark调优的一些回答进行追问： ● 我提到了利用RDD缓存进行RDD复用，追问Spark缓存一般可以用什么函数做到（cache，presist） ● 追问并行度的设置方法（配置文件或在代码中） ● 并行度的值一般根据什么设置（CPU核数的2-3倍） 5. Hive执行原理（SQL到MR的过

一面 50分钟 自我介绍 你学过的大数据掌握的最好的是哪一个 hive里面排序一般怎么使用的 hive内部表和外部表的区别，外部表在什么场景下使用 hive视图用过吗 你对维度和事实的理解 你说到了业务过程，谈谈对它的理解 你刚刚描述的是一个业务过程还是 多个业务过程 多个业务过程放到一张事实表的你举个例子 维度建模中 星型模型和雪花模型 之间的区别 缓慢变化维表如何处理呢 全量表的数据保存多久

40min 面试体验感超好，德子好感+1 Spark sql了解吗？Dateframe 是啥（不会） 项目里数据怎么拉的？ Flume+kafka+flume+hdfs 有什么过滤器吗？：3个flume拦截器 判断文件类型+时间戳过滤器+落hdfs小文件检测 数据量：千万 flume拉取时间是多少？（不会，瞎编的10分钟有兄弟了解吗） Spark小文件怎么处理 Kafka 的整体结构：broke+

3月1日晚笔试了2小时，我对Hadoop不甚了解，同时编程第一题暴力求解花费太多时间导致动态规划没有完成，寄 单选题10道，考察计算机网络、JAVA、Hadoop、MySQL等计算机基础知识 简答题3道，考察MySQL索引和优化、Hadoop大数据组件、对游戏指标的解读 编程题3道，一道Z字型变换（参考力扣第6题N字型变换），一道合并区间（力扣第56题），一道动态规划，都是中等难度 主观题2道，了

一面 1.自我介绍 2.最好的项目 3.数据可视化 4.research和find 5.try except 6.数仓的架构 二面 1.自我介绍 2.如何处理异常值和缺失值 3.numpy和pandas平时怎么用于数据预处理 4. pyspark怎么处理缺失值

应聘岗位：Java开发工程师-广州 应聘流程：官网投简历 ->  笔试 -> 线上一二面连着（一面技术+二面HR面）-> 线下三四面（三面技术+四面HR终面）-> 挂 一面技术面记录： 1.有了解和使用过设计模式吗？ 讲讲几个印象最深刻的？ 2.代理模式有哪些使用场景，除了Spring AOP。 3.Linux使用过哪些命令？ 4.top命令显示的内容，显示的是什么的占有率。 5.Linux内存分

其实主要怪我简历写的太宽泛了 按简历写的技能问的 1.tcp/udp 传输层相关 2.http https 3.arp dhcp 4.组播 广播 5.栈 队列 二叉树 平衡二叉树 图 完全图 6.鼠标按下之后 到页面反应 计算机系统的驱动程序和cpu等发生的事情 7.python gil锁 8.java jvm 9.项目用了什么框架（就写了脚本） 10.sql 连接 11.编程:树的深度优先遍历（

写个面经，至今唯一的面试，攒攒人品，正式批还没有收到面试，大家一起加油吧！ 8.28 一面 22min 多面app 第一次面试 面试官很好，一直用“您”，迟到了5分钟一上来道歉 1.自我介绍 2min 2.问实习和项目,选出一个影响最深的,说出原因及得到了什么样的结果 3. 开放性问题     1.作为大数据工程师应当在整个公司中发挥什么样的职责     2.模拟场景 ,在制造业下大数据拥有什么样

前言 11月16号Boss投递->11月18号笔试->11月21号一面 一面 （11月21号，40min左右） 自我介绍 项目（10min） 对简历的第一个项目提问了10min。 实习（10min） 介绍一下实习期间做的最有挑战性的项目？ 针对实习项目做了一些提问。 Spring Spring是什么？ 什么是IOC？ 什么是AOP？ SpringCloud组件了解哪些？ 讲一下SpringBoot

#瑞幸咖啡# 面试时间：2023-12-18 14:00-14:30 面试形式：腾讯会议，一对一 首先老规矩自我介绍 之后问我有没有实习？我没有，只有项目 然后面试官看我项目只有一个是纯Java开发的，就问我还有没有其他Java项目？桌面日历。。 看我博客系统开发用到了redis、MySQL、Spring就问我这些八股： redis分布式锁？ redis持久化方式？ redis主从复制的过程？ M

一面9.4 1.1自我介绍 a）你读研的时候实验室有什么课题吗？ 1.2项目 1）第一个项目讲一下 a）大概介绍一下你做这个项目的背景和目的 2）第二个项目你讲一下 a）落地的时候准备用什么语言写？ 1.3八股 1）c++和数据结构 a）你主要用C++比较多吗？那你知道你应聘的是Java还是c++? b）数据结构里有哪些数据结构支持查找的？ c）哈希表的散列冲突是怎么回事？常见解决方法有什么？c+

---------9/30 一面---------- 发波面经攒攒人品，希望万子给个机会，让我进入后续流程，想回长沙。 频记忆写的，整体还是比较简单的，聊的也比较轻松，二十五分钟的样子。 简单聊了下项目 项目中问到了TCP/UDP的区别 new delete和malloc和free的区别 vector的实现原理 数组跟链表的区别 快速排序的原理 二分查找的原理 哈希表跟链表的一个关系或者区别（不是

去年秋招拿了携程-大数据底层框架开发岗位的offer，想着还是把面试回顾下吧，给后面的朋友一个参考。 这个岗位是做大数据组件底层二次开发的，我面试的是偏向离线方面，因此面试都是围绕hadoop、spark、hbase、hive这几个组件的底层原理去问，因为是偏向底层，所以也会注重java语言和多线程并发的知识。 HDFS的写入流程？如果一台机器宕机，HDFS怎么保证数据的一致性？如果只存活一台机器