《数据开发工程师》专题

部门：网易云 8.23约面，8.25 一面 8.29 二面。8.30 hr面 一面： 45min左右 1.自我介绍 2.说说项目用到了哪些技术 3.你刚刚说到了即席查询，项目里是怎么做的。 4.四道sql，十分钟后对答案 5.笛卡尔积了解吗。 6.笛卡尔积会产生什么问题。 7.你刚刚说到了数据倾斜。介绍一下。 8.笛卡尔积就会产生数据倾斜吗 9.mr流程介绍一下 10.你多久能来实习 11.你刚刚

🍆 数仓方向 9.19 一面 第二天就挂了 自我介绍，科研项目介绍(项目相关问题提问) 1)   内部表和外部表的区别？ 2） 窗口函数？ 3)   知不知道比HDFS活跃度更高的产品？ 4） Zookeeper常用得场景和用法？RATF协议了解吗？ 5） CAP原理？一致性的概念？ 6） Hadoop如何保证一致性？ 7） Hadoop生态圈和MySQL等分布式数据库的区别? 8） Hive支

9.22 一面 1h 自我感觉挺好的还，9.26挂了 1）自我介绍 2）两个项目介绍 3）Hadoop的元数据存在哪里？ 4）什么是缓慢变化维？拉链表的数据具体是怎么更新？并举例 5）Kafka的零拷贝机制？ 6）对RDD的了解 7）哪些情况下会发生索引失效？ 手撕代码     1）无重复字符的最长子串 双指针+map     2） 求出数组中最小的n个数     3） 求出每个部门的薪资前三的用

前言 星环感觉整个流程非常不错，二面面试官不是搞大数据的，但是交流上感觉到了尊重，面试实在7月份，八月份就给意向了，进展到十月份了对比看来星环流程真的不错（PDD推荐组某个面试官一生黑），看到大数据后端已经不招人了，但是可能会拒掉 一面 忘记了没有记录 二面 1.1. HBASE架构 1.2. Regionserver结构 1.3. Hbase避免热点数据（Rowkey的设计） [大白话彻底讲透

2022/10/11 一面 30min 自我介绍 实习项目介绍 项目中你做了什么任务 实习项目难点 阿里云大数据框架怎么学习的 大数据开发具体想做什么方向 hive中的开窗函数用过吗 rank、dense_rank、row_number区别 hive行转列 列转行 spark用过吗 spark为什么比MapReduce快 spark数据倾斜遇到过吗 数据倾斜怎么解决的 Java中的HashMap底

1、实习的工作是什么？ 2、SQL调优有哪些？ 3、介绍一下项目，主要做什么工作？（项目介绍还不顺畅） 4、为什么学大数据？ 5、项目里的Flume是怎么用的？ 6、TailDir为什么可以断点重传？（面试官说不能） 7、Linux什么指令可以监听文件？ 8、Flume的事务是怎样的？（因为上一题提到了事务） 9、Kafka的基本架构？ 10、RXR队列（不知道是什么东西） 11、Kafka的pa

一面：电话面试 1、自我介绍 2、挑一个实习项目讲一讲 3、项目里的数据是怎么处理的？ 4、数据研发选择哪一块？（数据仓库、数据平台、数据算法、数据挖掘） 5、讲讲MapReduce的原理 6、环形缓冲区为什么要反向？ 7、实习的存储计算用的是什么组件 8、有金融相关知识的储备吗？ 反问： 1、这一面算是第一面吗（是）？算专业面吗（是）？ 2、做什么工作的？（国外金融银行业务） 3、用到哪些技术栈

面试岗位：数据库工程师 两个面试官，一个主要问知识点，另一个主要问实习、项目 介绍一下HDFS的写流程 Spark、Flink有哪些部署模式？ Standlone和Yarn（Client、Cluster），会话模式、单作业模式、应用模式 有没有写过Flink平台的开发代码？ Yarn由哪些角色组成？各自的任务是什么？ Yarn的调度器有哪些？ Hive和HBase的区别是什么？ 项目中Kafka的

1、Spark的作业提交流程？ 2、Spark的核心组件有哪些？ 3、宽窄依赖的理解，为什么要分宽窄依赖？ 4、SparkContext在工作时做了什么事？ 5、Spark shuffle有哪些？ 6、Hashpartitioner与RangePartitioner的实现 7、对维度建模的理解？ 8、雪花模型和星形模型的理解以及优劣对比？ 9、线程安全有了解么？介绍下 面试官很友好，是我太菜了，全

自我介绍 问对hadoop各个组件的了解 解释下mapreduce的过程 问有没看过谷歌的GFS论文 问项目里数据库咋建模设计的 对维度建模的了解 对数仓的了解，数仓一般咋分层 GGGG，这之前只关注框架底层了，，没看过数仓的东西#大数据开发面经##实习生[话题]##access#

笔试时间 90min 20道选择题 + 3道编程题 主要还是考数据库的操作 如何增删查改 如何检索 然后阅读数据库代码 找错误/模拟运行 只有一道算法题 是AcWing_3578题 的变式 个人感觉算是降低难度 每次操作选取两个数 ai 与 aj, 并赋值ai = ai + aj, 删除aj; 中位数计算方式为为（m+1)/2向下取整。 输入第一行数据组数t 此后每组 第一行数组长度n 操作k数

首先做了三道SQL题，主要涉及分组聚合、窗口函数。 3.3 一面 28min： 1.自我介绍 2.为什么要做这个项目 3.介绍DataX 4.项目问题 5.介绍HDFS 6.Hadoop hive hdfs spark关系 7.职业规划 8.数仓分层 9.窗口函数 3.6 二面 45min： 1.自我介绍 2.项目介绍 3.维度模型 4.一道数仓场景题 5.数仓分层 6.SQL常用函数 7.ran

时长：1h 由于问题太多，分四类进行整理 0. 实习相关：之前有数据开发的实习经验，就问了之前工作有没有spark或者hivesql优化的经验；如何确保数据的有效性；实习公司数据存储格式（Parquet），还知道哪些数据存储格式 1. 大数据相关问题：为什么Spark比MR快；对Spark的了解；两个表join的优化方法（大小表join可以map-side join, join前过滤null值）；

总共33min，凉透了，可能因为我是第一次面试，没经验，被面试官牵着鼻子走 1、数据仓库和数据库的区别 2、数仓的分层 3、维度建模的基本构成 4、了解缓慢变化维吗 5、说一下拉链表 6、用到了哪些用户指标作为算法的输入呢？ 7、协同过滤的常用算法有了解吗？ 8、Presto和Hive区别 9、Hivesql和sparksql区别 10、Sql：统计最近下单的用户是在去年12月份的用户数量 11、

#暑期# #投递实习岗位前的准备# 3月23日--分享个经验，求个好运 时长一个小时二十分钟 自我介绍 因为学统计的，问了中心极限定理和大数据定律 机器学习-XGBoost算法简介 两道智力题：逻辑判断谁说谎了和分金条 问了为什么研究生跨专业保研了？ Hive和MySQL区别 数据库的索引有什么用 说一下索引的类型，还有B+树索引 数据仓库和关系型数据库区别 Hadoop生态圈简介 问我SQL写的