《大数据开发面经》专题

项目怎么架构的（？我艸 for循环里面能不能对arraylist又删除 又添加 怎么改进 spring怎么自定义注解 了解IOP吗 口音很奇怪 印度发音 经过询问发现是AOP 项目中哪里用到了AOP 有什么缺点 了解jvm吗？ 怎么查看进程的运行状况 能说的在详细一点吗 linux怎么看进程占用多少内存 有没有实习过 有没有发过论文 学校里老师的项目是怎么沟通的 剩下的想不起来了 已蒙比## #软

28min 一位很友好的大哥，感觉问的比较简单全程没有怼我，希望不是KPI面😓 一面 开问： 自我介绍？ 介绍Spark 项目？ 介绍数据仓库项目，怎么建模怎么分层的？ 数仓分层的优点在哪里？ 项目里面提到了留存率，你怎么计算留存率的？ TCP说一说？ TCP和UDP区别说一说？ A 3条数据，B 4条数据 A left join B 结果会有几种情况？ 双流join 讲一讲？ 缓存过多你的解决

作为开发者，需要不断的对技术点进行总结，并且把它沉淀下来，写技术博文无疑是最好的方式，随着时间流逝，还可以作为自己每个阶段的技术认知轨迹进行回顾和反思，这里将会持续记录对WEB开发相关总结内容。

​1、自我介绍 ​2、数据仓库为什么要分层，目的是什么 ​3、DWS层和DWT层是怎样划分的 ​4、PV和UV分别是什么 ​5、数据仓库建模的两种形式 ​6、范式建模中的第三范式的原则 ​7、维度建模中最常见的建模形式是什么区别是什么 ​8、如何评判数仓的优劣性 ​9、MR流程是写的MR程序，还是通过hql ​10、用户留存率的计算公式 ​11、HDFS的写流程 12、MR的底层原理 ​13、MR

7.11一面： 1.自我介绍 2.拷打项目，项目遇到的难点，怎么解决的。 3.数据倾斜 4.数仓分层怎么做的以及作用 5.对数仓的看法 6.小文件的危害 7.介绍一下yarn 8.java三大特性 7.12二面： 1.自我介绍 2.拷打项目 3.拷打论文 4.实习遇到的难点，怎么解决的 5.一道简单sql 6.能实习多久

分享一下今天的面试情况，总体其实不难，但真的太过紧张，发挥极其不好。 首先上来是一段自我介绍，然后闲聊一些我的能力还有个人对于科研的看法，以及导师的管理松紧。 之后就是正式的面试内容： 1.TCP为什么要三次握手？这个题太经典了，想必背过八股的都知道，但我真的太紧张，完全不知道从哪里开始说起，所以结结巴巴的搞完了。 2.线程和进程的区别？这个也很简单对吧，不过我感觉我说的不够全面。 3.Mysql

HR 面 两面技术面之前有一个 HR 面，只记录其中几个问题 如果一家公司薪资比较低，你却选择它，可能的原因是什么？ 如果一家公司的薪资比较高，你却不选择它，可能的原因是什么？ 你希望你的领导是什么样的？ 你觉得你自己应聘这个岗位的优势与劣势是什么？ 你对加班怎么看 一面 计网： TCP 的四次挥手过程 什么情况会卡在 CLOSE_WAIT 状态？ 为什么TIME_WAIT状态要 2MSL 时间呢

面了差不多有四十分钟 ①首先问了下项目flume 和 kafka相关，由于很久没复习这两个组件，回答的不好 ②说一下HDFS读写原理 ③JVM内存区域介绍一下 ④有哪些垃圾回收器，你就说CMS就行了，他的基本原理以及优缺点，其中四个阶段哪些阶段需要stop the world ⑤Java对象内存是如何分配的，有哪些分配方法？ ⑥分配对象的过程中会出现并发问题吗，JVM是如何解决的？ ⑦有用过JVM

一面1h [项目] - [ ] 项目设计和技术栈的使用 - [ ] FastDFS的架构设计 - [ ] 追踪器是单点还是多点，占多少内存量 - [ ] 源文件保存在哪儿 - [ ] 文件上传下载的步骤，以及数据库的映射关系 - [ ] 怎么实现IO多路复用 - [ ] 了解的数据结构 - [ ] 红黑树的时间复杂度为什么是logn 算法- [ ] 1-n个数，有m条边描述相连的两个数，输入任意两

笔试：选择题+填空题+判断题+简答题 简答题 1、说说大数据技术的特点 2、说一下Spark任务执行的流程 3、1G的文件，每一行是一个词，词大小不超过16字节，内存1M，找出频数最高的100个词。 技术面 1、自我介绍 2、本专业主要学什么？ 3、介绍一下实习的项目 4、小文件问题怎么处理？（SequenceFile、CombineInputFormat、JVM重用） 5、Hive支持哪些存储格

一面 12月28日 15：00 1h 了解分布式吗，看过哪些相关的分布式数据库和知识 看过哪些论文 深挖minisql项目 2PL 脏读，幻读，不可重复读 这个项目是怎么实现的，从0到1吗，介绍一下实现的过程 支持哪些SQL数据类型 日志系统的设计（支持哪些日志格式） 如果用户写入一个大的blob日志怎么处理 fsync怎么处理的 redo log在commit之前还是之后处理的 是否有丢失数据的

一，上来就问了项目里日志的处理量，50w  100M左右 二，问项目里如何解决Hbase的热点问题，面试官没听明白，后面就直接问热点问题如何解决的   答的就举年份例子，加盐，预分区 三，Kafka里是如何leader和follow是如何实现同步的 具体怎么实现同步我确实不知道，我就答的是offset在follow和leader挂了后如何在实现同步的，面试官说我似乎说了又没说明白，后面查了一下，下

面试官都没开摄像头，然后让我开了。 两个面试官一男一女 1. 先讲讲对索引的理解和概念。 2.出了一道sql题学生成绩表： 学号，姓名，性别，班级，分数 按照分数倒叙，以班级分组，姓名排序 如果 分数相同 并列。 3. 删除表中 学号 为10010的数据： 4.讲讲join 5.python 中的闭包理解 6.split 和 join理解 7.给一个txt文件找出所有大写字母的个数 口述pytho

10.1 -1面：面试官在家，聊的很开心，后边几乎都是我在说自己做了什么，感觉很尊重人 10.11 -2面：面试官很亲切，一开始想电话面，然后问我在哪，我说在面试平台上，又改到了平台面（很尊重了。期间问了各大组件各大知识，加一些场景比如下游不支持事务和幂等，怎么来做精准一次，就是会问一些没有答案的问题，然后根据你的答案提出问题，直到不会。（名场面：你遇到OOM吗；我遇到过；那你谈谈什么时候遇到OO

一面 8.15 45min 0. 现在状况，职业规划 1. 问简历上数据建模的项目 2. 你的理解数据建模应该怎么进行 3. 了解数据库事务吗 4. 主键和唯一索引知道吗 5. 用过hive吗，数据倾斜怎么回事 6. 数据结构/算法怎么样？了解排序吗？哪几种排序？稳定性问题？ 7. 编程题 python 给有3个或更多个数的数组，返回最大能组成三角形的周长 8. sql题 简单的group by