《大数据开发》专题

被kpi了,还是我太菜了 sparkstreaming和flink有什么区别？ sparkstreaming如何确保只被精准消费一次 spark下的执行流程划分？ hivesql平常用的多不多，sql不合理如何进行优化 数据库设计的主要的原则 平常做项目面临的最大困难是什么，如何解决的 反问:工作的业务场景是什么？ 公司开发中使用的技术栈，回答:hive+es还有个没听清楚

1面：写题目easy+问基础知识+抓只线程池一直问到了系统资源分配，解答部门做大数据的解决方案，不涉及开发 2面：写题目easy+问简历，全程我在讲，然后没了，反问对我的了解，还说部门主要做解决方案 3面：聊人生，主管很好，推荐一下解决方案部门，感觉主管很年轻，然后给了我意见说做非技术不一定不好，校招生不要带着偏见。 整体：3面都是我单方面开摄像头，整个流程很简单，主管面也挺好的，唯一就是不搞技术

一共两轮技术面一轮HR面，第一轮面试hive 问题居多，第二轮hadoop 问题居多，整体来说问题不是很难，方向为数仓。 一面: 11.30下午 牛客网面试 30min 自我介绍 数仓项目介绍 什么是全量表，什么是增量表，以及应用的场景 了不了解拉链表，讲一下拉链表如何生成 什么是内部表，什么是外部表，有什么区别 Hive中小文件形成的原因及解决办法 Hive SQL的优化方法 讲一下熟悉的窗口函

#24届找实习方向# 1. 介绍基于Spark实时项目 2. Spark在这个项目中做了哪些工作 3. Spark中，说说Action算子和Transform算子的区别？常见的行动算子有哪些？ 4. 这个项目有考虑使用Flink处理吗？ 5. Flink中窗口的种类有哪些 6. 了解数据库的底层逻辑吗 7. 说说主键索引和外键索引的区别 8. 计算机网络中OSI七层协议，说说他们的作用 9. 如果

#互联网公司爆料# 这个公司也是搞物流的吧，估计是做国外的，面试我的第一面是大数据组长，应该是数仓的组长，主要是数仓建模，hive基础，以及spark，以及数据服务以及做的项目的细节，整体面试还可以，终面是技术最高负责人，估计是个副总有40多岁，问了我大数据集群怎么搭建的，服务器是怎么设计的，对于大数据的架构的分布等等吧，感觉是以架构师来问的，薪资好像是15乘14，年终估计拿不满吧，终面还挂了，好

一面 4.23 当天下午约二面 （点错成周四4.27了摔😤 lz面过最长时间的面试，足足1h40min，10:15开始，结束都快12点了🥲也不知道是面试官工作比较闲还是lz太话唠了🤣 Part1: 实习经历 团子的面试官好像对我的实习经历非常感兴趣，一直在深挖，问得非常非常细，到具体什么指标、数据是多少这样子，这一part直接干了四五十分钟😳有记不得的lz就直接说记不得…但是面试官挺好滴，

1h16min 1、将一下对大数据开发的理解 2、是通过什么接触到大数据开发的？为什么选的是实时? 3、大数据专业有没有学过flink相关课程，你是自动化学院的，如果我招你来你会不会只是学一下就算了，毕竟培养一个人要耗费很多精力 4、对于实习时长能接收多久，后续会不会考虑留在北京 5、有没有了解过美团 6、为什么项目中要使用flink，相比于其他的使用flink的好处在哪里 7、数仓分层为什么是五

1.Spark的运行机制 2.union是宽依赖还是窄依赖 3.常见的action算子 4.reduceByKey和groupByKey的区别 5.Spark的checkpoint 6.Spark的cache和persist区别 7.Flink的checkpoint和Spark的checkpoint区别 8.Flink的两阶段提交问题 反问 用什么做什么 基本大数据组件都会用，shein数据量大而

上来20min先做题，两道sql，一道数学，一道概率 问数据相关，接触过什么数据库，数据体量，mysql优劣势，mapresduce数据倾斜，hive，sql内置函数 自定义函数 复盘：熟悉应用场景 问答风格无八股，侧重于考察真正理解程度 寄。

最开始发来的邮件说是电话面，当天走完了一面二面，中间只间隔了二十多分钟，当晚HR面，第二天看状态结束了。。。。凉凉 这次幸亏是电话面，手机直接录音了，记录的详细一些。 一面 面试时间：20min 自我介绍？ 实习工作介绍，实习内容，所用的技术栈。。。 怎么和同事配合的？自己有开发了那些？有什么提高？ 你们这个项目，你觉得还有那些地方可以做优化？ 离线和实时结合，未来发展的一些看法？ Hive的组成

30min拷打项目，其他八股一点没问，算法和sql也没做。 跟我说如果还有后续的话还有一个hr面。 怎么就三十分钟啊？不会KPI了吧，许愿许愿许愿

40min左右 1.自我介绍 2.关系型数据库与非关系型数据库的区别，并举例 3.介绍hadoop 4.hadoop与hdfs的关系 5.spark的RDD的几个特点 6.RDD相对于mapreduce的优点缺点 7.hive join的几个方式，说明其原理 8.使用python是否做过大项目 9.为什么rdd处理速度比mp快，为什么mp没有被淘汰依然在使用。 10.提问项目 11.排序有哪些算法

1.去公司线下面试，有笔试题 1.填资料，个人信息，以及有关职业发展问题 1.比如，你的缺点和优点是什么，对你个人产生怎样的影响？ 2.如果你和他人有不同的观点，你该如何和他人讨论？ 等等，基本就是情商面 笔试题 1.中科软是一家主做保险的外包公司，所以用到的sql主要是oracle, 选择题有几道oracle的题， 2.然后有简答题，也比较简单 面试环节 1.自我介绍 2.对于shell部分的提

处女面，很紧张 1. 问项目 2. 项目中为什么使用kafka作为缓冲队列。 3. mapreduce原理。 4. 如果mapreduce发生数据倾斜该如何解决。 5. 解释一下列式存储、列式存储的文件格式。 6. 星型模型、雪花模型、星座模型的区别和应用场景。 7. 拉链表是什么、一般解决什么问题。 8. 什么是指标体系、如何明确指标体系。 9. zookeeper、datax等（项目上写的组件

9.21号下午一面的，忘记发牛客了，现在补上 一个年轻并且非常友好的面试官，沟通也比较顺畅，完全按照我的简历一条条过，八股很少，问也只会问涉及项目的八股 - 介绍实习部门的业务，数仓架构 - 以下内容都是我简历具体的内容，可能没啥参考意义，中间穿插的一些细节问题有点忘了： - Cube表性能优化，还有其他优化的方法吗 - 表分桶优化，一般表关联还能怎么优化 - 小文件治理 - SLA治理 - 数据