《数据开发工程师》专题

如 动态 Inventory 所介绍,ansible可以从一个动态的数据源获取到inventory信息,包含云端数据源 怎么写一个自己的数据源? 很简单！我们仅仅需要创建一个在适当参数下,能够返回正确JSON格式数据的脚本或者程序,你可以使用任何语言来实现. 脚本规范 当我们在外部使用``–list``参数调用这个脚本时,这个脚本必须返回一个JSON散列/字典,它包含所管理的所有组.每个组的val

说明：数据上报到平台后，Hubble平台的分析模块大约需要30分钟能查到数据，若该事件是首次发送可能时间会久些。 1.1. 客户端调试 Android sdk v2.1.7.5 以及之后版本 v2.1.7.5 以及之后版本无需配置，默认即开启，建议更新到最新版本。 v2.1.7.5之前版本 v2.1.7.5之前版本已不支持远程调试，本地调试请查看Android sdk开发文档（控制台日志输出）。

2022/08/28 一面  1.5h 面试官人很好我太菜了 0-1h 结对编程  中间校园网还掉线了。。 3个需求（不了解tdd编程思想，没做好） 1h-1.5h 自我介绍 实习在做什么 数据怎么推送到ODPS 怎么传到CLICK HOUSE 阿里云大数据框架还了解什么 数仓分层意义 ADS和DWS区别 spark sql会吗 一道sql题 开窗函数 反问：部门用什么框架            

30min 自我介绍 项目介绍 项目难点介绍 hadoop组件有哪些 hdfs简单介绍 hdfs怎么实现高可用，具体 是哪个进程在zk上注册临时节点 hdfs怎么防止脑裂 hdfs写流程，写到一半client发生OOM之后该怎么办，datanode宕机怎么办 怎么实现nn切换，而客户端无感的 Spark提交作业的流程 Executor内存管理，分别存储什么 spark shuffle有哪些，讲一下

35min 1面 自我介绍 排序算法知道哪些 稳定的排序算法有哪几种 mr和spark的区别 bitmap解释一下 bitmap用途有哪些 布隆过滤器的原理 一道dp题，口述思路没想出来。。。 三道业务场景题 30min hr面 常规hr面 vivo流程真快，爱了，九月底开奖 #大数据开发##大数据开发工程师#

一面 1、自我介绍 2、先问实习内容，实习涉及了实时数仓，细问了一些点 3、再问项目内容，做的是离线数仓 4、离线数仓的数据源有哪些？是怎么收集这些数据的？ 5、离线数仓是怎么分层的？分层依据是什么？ 6、JVM的内存模型介绍一下 7、说一下你知道的垃圾回收算法 8、MySQL的存储引擎有哪些？ 9、做过哪些HiveSQL优化？或者说你了解哪些优化措施？ 10、怎么解决数据倾斜问题？ 11、有接触

#互联网公司爆料# 这个公司我是参加的校招，当时面试我的估计是一个组长，问了大数据SQL，以及spark，对于SQL我轻松秒杀，spark当时也学习了没啥压力，面了20分钟直接通过后面是一个技术负责人面我，问了一下hive，MapReduce，Java集合，也是直接通过，感觉技术不难，最后HRBP直接来面我，也是直接过，后面就是直接发offer，薪资真的不高，就11k，13薪吧，我感觉不高直接拒绝

参加赛意在本校的校园宣讲会，投了简历，然后进行了一面（现场投简历的都可以参加面试），一面有两位面试官，一位负责收集基础信息，另一位面试官负责面试。一面之后两天内出结果，进行二面。二面之后两天内出结果，本来是约好的时间，但是老是更改，时间也定的很模糊（上午/下午），（就这一点来说有点不靠谱）。本来二面结束说好谈薪的，结果突然加了一个三面，等了一天没等到谈薪电话，突然通知三面（离谱了）。 一面：数据库

自我介绍 项目用的什么数据库（hive） hive内部表和外部表的区别 可以实习多久 关系型数据库和非关系型数据库区别 你知道哪些非关系型数据库 mysql有哪些索引 spark的join优化方式（没答上来） sort merge join和map join的区别（只讲了map join） map join的过程 flink有了解吗 描述flink保证端到端一致性的方法 描述一下两阶段提交（面试时

题型：10道单项、5道不定项、2道算法、1道SQL，难度还可以 单项题 1. 哪个程序通常与NameNode在一个节点启动？Jobtracker 2. HIVE的建表描述，错误的是：STORED AS 指定存储路径 正确应该是指定表的格式 3. 维度建模中雪花模型和星型模型的描述不正确的是：星型模型是多个事实表和多个维度表组成 正确应该是 1个事实表和多个维度表组成 4. hive中用get_js

一面 50分钟 自我介绍 http协议是哪一层的协议，讲一下对http的了解 tcp协议和udp协议是哪一层的协议，讲一下他们之间的区别，以及他们各自的应用场景 你知道get和post请求吗，讲一下他们之间的区别 当我们输入美团网址的时候，这个从输入到显示页面的过程 你了解操作系统吗，linux了解吧，你说一下你用过的命令 当我们要查看文件的具体属性用什么命令 讲一下静态链表和动态链表的区别 数据

一面  电话面 40分钟 自我介绍 介绍实时数仓的项目 你这里用到了clickhouse，clickhouse的写入和读取为什么快 flink有哪些算子 flink的窗口函数了解吗 flink的精准一次性如何保证的 kafka是如何保证数据不丢失和不重复的，从生产者和消费者考虑 hbase用过吗，rowkey的设计原则是什么 如何解决热点现象 redis的数据结构了解吗 java的spring会吗

1.平常是用python还是java？python和java掌握程度？ 2.hadoop的组成，每部分有什么用。 3.spark掌握的怎么样，SQL练过哪些题。 4.mapreduce源码看过吗？ 5.wordcount的流程。 6.Scala有没有学过？ 然后开始挖简历，还问了我一些业务的问题。 说后面会通知二面，也不知道有没有...

Spark 出问题如何排查 Spark 分区和hdfs block的关系 10000个小文件场景，spark是调整内存配置参数还是调整并行度参数 Spark sql 底层原理 Spark sql如何优化 Hbase region的分裂 #美团#

9.11 一面 1.自我介绍 2.介绍实习内容 3.对数仓分层的了解 4.对ab实验的理解 5.对实时了解吗 6.logistic回归的损失函数 7.口述sql：简单窗口 8.反问 9.19约线下，调整成线上 9.26 二面 两个面试官 面试官1: 1.自我介绍 2.更想做数开的工作还是数科的工作 3.解释spark中的水印 4.对实时数仓的了解 5.spark数据倾斜怎么处理 6.设计一个bi产