《大数据求职》专题

介绍下YARN ● Yarn 是一个资源调度平台，负责为运算程序提供服务器运算资源，相当于一个分布式的操作系统平台，而 MapReduce 等运算程序则相当于运行于操作系统之上的应用程序。 YARN有几个模块 ● Yarn架构 ○ ResourceManager（RM）： ○ NodeManager（NM）： ○ ApplicationMaster（AM）： ○ Container： YARN工作

字节面经 项目的数据来源和的数据的规模 Spark Shuffle spark的宽窄依赖 数据倾斜问题（★★★★★） 产生数据倾斜的原因 遇到过的数据倾斜的实际情况 数据倾斜的解决办法 介绍一下hadoop的NameNode NameNode高可用架构 NameNode主节点宕机，之后的选取机制 Zookeeper的选取机制 NameNode中的元数据是否会丢失？（★★★★★） 怎么保证元数据不丢

1.mapreduce的shuffle过程。 2.海量节点的情况下，NameNode如何扩展用多台NameNode保存元数据。 3.多个NameNode，其中一个NameNode挂了，其它NameNode如何上线。 4.海量的（userid,pageid）二元组数据，内存小的情况，用java或者sql计算每个pageid的userid top10的方法？ Java：数据切块并按pageid分区，每

20220905荣耀大数据开发面经 写在前面：搬来约在今天下午五点五十的面试，估计是前面的结束的比较快，四点五十给我打个电话让我去面试（当时还在学习室看面经呢/大哭），然后驱车一路彪回去，当时又是军训散场+下课，那叫一g个人多哟，急得不行还是强行镇静/哭 算是最近一场比较愉快的面试，面试官人特别好~有说有笑的，在这里记录下，顺便攒攒人品，求offer！！孩子快卷哭了/大哭 流程： 自我介绍 项目难

被kpi了,还是我太菜了 sparkstreaming和flink有什么区别？ sparkstreaming如何确保只被精准消费一次 spark下的执行流程划分？ hivesql平常用的多不多，sql不合理如何进行优化 数据库设计的主要的原则 平常做项目面临的最大困难是什么，如何解决的 反问:工作的业务场景是什么？ 公司开发中使用的技术栈，回答:hive+es还有个没听清楚

1面：写题目easy+问基础知识+抓只线程池一直问到了系统资源分配，解答部门做大数据的解决方案，不涉及开发 2面：写题目easy+问简历，全程我在讲，然后没了，反问对我的了解，还说部门主要做解决方案 3面：聊人生，主管很好，推荐一下解决方案部门，感觉主管很年轻，然后给了我意见说做非技术不一定不好，校招生不要带着偏见。 整体：3面都是我单方面开摄像头，整个流程很简单，主管面也挺好的，唯一就是不搞技术

一共两轮技术面一轮HR面，第一轮面试hive 问题居多，第二轮hadoop 问题居多，整体来说问题不是很难，方向为数仓。 一面: 11.30下午 牛客网面试 30min 自我介绍 数仓项目介绍 什么是全量表，什么是增量表，以及应用的场景 了不了解拉链表，讲一下拉链表如何生成 什么是内部表，什么是外部表，有什么区别 Hive中小文件形成的原因及解决办法 Hive SQL的优化方法 讲一下熟悉的窗口函

#24届找实习方向# 1. 介绍基于Spark实时项目 2. Spark在这个项目中做了哪些工作 3. Spark中，说说Action算子和Transform算子的区别？常见的行动算子有哪些？ 4. 这个项目有考虑使用Flink处理吗？ 5. Flink中窗口的种类有哪些 6. 了解数据库的底层逻辑吗 7. 说说主键索引和外键索引的区别 8. 计算机网络中OSI七层协议，说说他们的作用 9. 如果

#互联网公司爆料# 这个公司也是搞物流的吧，估计是做国外的，面试我的第一面是大数据组长，应该是数仓的组长，主要是数仓建模，hive基础，以及spark，以及数据服务以及做的项目的细节，整体面试还可以，终面是技术最高负责人，估计是个副总有40多岁，问了我大数据集群怎么搭建的，服务器是怎么设计的，对于大数据的架构的分布等等吧，感觉是以架构师来问的，薪资好像是15乘14，年终估计拿不满吧，终面还挂了，好

写面经攒人品，同时也是对自己的实习面试的一个记录吧 1.介绍项目，因为是密码学项目，面试官可能不是很了解，但是抠得很细，一直问到他大概明白是做了什么为止 2.智能指针 3.协程 4.Java线程池 5.Redis布隆过滤器 6.数据结构中序遍历 7.有没有在C++中引用过第三方包 8.手撕算法:给一个数字串，相邻两个字符相加为10可以消去，问最终字符串长度 9.介绍了一下所接触过的其他加密算法 面

一面 4.23 当天下午约二面 （点错成周四4.27了摔😤 lz面过最长时间的面试，足足1h40min，10:15开始，结束都快12点了🥲也不知道是面试官工作比较闲还是lz太话唠了🤣 Part1: 实习经历 团子的面试官好像对我的实习经历非常感兴趣，一直在深挖，问得非常非常细，到具体什么指标、数据是多少这样子，这一part直接干了四五十分钟😳有记不得的lz就直接说记不得…但是面试官挺好滴，

1h16min 1、将一下对大数据开发的理解 2、是通过什么接触到大数据开发的？为什么选的是实时? 3、大数据专业有没有学过flink相关课程，你是自动化学院的，如果我招你来你会不会只是学一下就算了，毕竟培养一个人要耗费很多精力 4、对于实习时长能接收多久，后续会不会考虑留在北京 5、有没有了解过美团 6、为什么项目中要使用flink，相比于其他的使用flink的好处在哪里 7、数仓分层为什么是五

1小时，全程 LSM tree 深挖 LSM-tree 存储引擎和 Raft 的关系 LSM-tree 原理和特点 为什么要追加写 LSM-tree 的工业实现 LSM-tree 的合并方式（合并超出阈值的部分还是全部？优缺点 Bloom filter 的实现 Bloom filter 如何持久化 缓存的索引怎么做缓存淘汰 缓存的索引一个 SSTable 对应一个 map 和用一个全局 map 的

1.Spark的运行机制 2.union是宽依赖还是窄依赖 3.常见的action算子 4.reduceByKey和groupByKey的区别 5.Spark的checkpoint 6.Spark的cache和persist区别 7.Flink的checkpoint和Spark的checkpoint区别 8.Flink的两阶段提交问题 反问 用什么做什么 基本大数据组件都会用，shein数据量大而

Kubeflow 是 Google 发布的用于在 Kubernetes 集群中部署和管理 tensorflow 任务的框架。主要功能包括 用于管理 Jupyter 的 JupyterHub 服务 用于管理训练任务的 Tensorflow Training Controller 用于模型服务的 TF Serving 容器 部署 部署之前需要确保 一套部署好的 Kubernetes 集群或者 Mini