《数据研发工程师》专题

参加赛意在本校的校园宣讲会，投了简历，然后进行了一面（现场投简历的都可以参加面试），一面有两位面试官，一位负责收集基础信息，另一位面试官负责面试。一面之后两天内出结果，进行二面。二面之后两天内出结果，本来是约好的时间，但是老是更改，时间也定的很模糊（上午/下午），（就这一点来说有点不靠谱）。本来二面结束说好谈薪的，结果突然加了一个三面，等了一天没等到谈薪电话，突然通知三面（离谱了）。 一面：数据库

自我介绍 项目用的什么数据库（hive） hive内部表和外部表的区别 可以实习多久 关系型数据库和非关系型数据库区别 你知道哪些非关系型数据库 mysql有哪些索引 spark的join优化方式（没答上来） sort merge join和map join的区别（只讲了map join） map join的过程 flink有了解吗 描述flink保证端到端一致性的方法 描述一下两阶段提交（面试时

题型：10道单项、5道不定项、2道算法、1道SQL，难度还可以 单项题 1. 哪个程序通常与NameNode在一个节点启动？Jobtracker 2. HIVE的建表描述，错误的是：STORED AS 指定存储路径 正确应该是指定表的格式 3. 维度建模中雪花模型和星型模型的描述不正确的是：星型模型是多个事实表和多个维度表组成 正确应该是 1个事实表和多个维度表组成 4. hive中用get_js

一面 50分钟 自我介绍 http协议是哪一层的协议，讲一下对http的了解 tcp协议和udp协议是哪一层的协议，讲一下他们之间的区别，以及他们各自的应用场景 你知道get和post请求吗，讲一下他们之间的区别 当我们输入美团网址的时候，这个从输入到显示页面的过程 你了解操作系统吗，linux了解吧，你说一下你用过的命令 当我们要查看文件的具体属性用什么命令 讲一下静态链表和动态链表的区别 数据

一面  电话面 40分钟 自我介绍 介绍实时数仓的项目 你这里用到了clickhouse，clickhouse的写入和读取为什么快 flink有哪些算子 flink的窗口函数了解吗 flink的精准一次性如何保证的 kafka是如何保证数据不丢失和不重复的，从生产者和消费者考虑 hbase用过吗，rowkey的设计原则是什么 如何解决热点现象 redis的数据结构了解吗 java的spring会吗

1.平常是用python还是java？python和java掌握程度？ 2.hadoop的组成，每部分有什么用。 3.spark掌握的怎么样，SQL练过哪些题。 4.mapreduce源码看过吗？ 5.wordcount的流程。 6.Scala有没有学过？ 然后开始挖简历，还问了我一些业务的问题。 说后面会通知二面，也不知道有没有...

Spark 出问题如何排查 Spark 分区和hdfs block的关系 10000个小文件场景，spark是调整内存配置参数还是调整并行度参数 Spark sql 底层原理 Spark sql如何优化 Hbase region的分裂 #美团#

9.11 一面 1.自我介绍 2.介绍实习内容 3.对数仓分层的了解 4.对ab实验的理解 5.对实时了解吗 6.logistic回归的损失函数 7.口述sql：简单窗口 8.反问 9.19约线下，调整成线上 9.26 二面 两个面试官 面试官1: 1.自我介绍 2.更想做数开的工作还是数科的工作 3.解释spark中的水印 4.对实时数仓的了解 5.spark数据倾斜怎么处理 6.设计一个bi产

一面 spark数据倾斜 实习相关 二面 Sql 找出最长连续子序列（row_number) 算法 二叉树层序遍历 mapreduce运行过程 spark.shuffle.partitions的调参原理 Spark小文件参数 怎么确定reduce的数量 bucket join优化的原理 怎么快速根据spark stage找到对应的代码 主题域划分 事实表怎么建模 数仓建模过程 事务的特性 进程和线

09.04 笔试，测评 笔试代码题sql比较简单 09.08 一面 1.自我介绍 2.一道简单sql题目 3.python：冒泡排序（实际写的快排） 4.了解实时数仓吗？ 5.对Hadoop框架的了解 6.对mapreduce的了解 7.反问 09.12 二面 十分钟左右 1.自我介绍 2.python中怎么实现类型转换 3.python常用的函数 4.研究生阶段的学习计划 5.反问 10.09

本不合适，是我硬凑上去的 9.12 一面 自我介绍 介绍项目 问Redis作用（项目相关） 单例模式是啥？分为？共享屏幕，手写单例模式饿汉式和懒汉式 面向对象三大特性 了解Kafka吗 了解并发编程三大特性吗 反问环节：有几面？多久通知下一面？他说下一面是线下，知道我在南京之后说很快，一周内 9.20感谢信，预料之中，大数据我也不合适 #24届软开秋招面试经验大赏#

Timeline： 8.24 投递 9.15 笔试 10.26 一面 10.26 一面 35min： 1.Hadoop工作原理 2.Hive内外部表 3.数仓分层 4.数仓建模 5.Map和flatmap区别 6.Flink slot和并行度关系 7.Flink exactly once 精确一次消费 8.Flink窗口 9.Hive udf 10.并发实现方式 11.线程池了解吗 12.线程池有

10.16投递 10.17一面（50minute） 自我介绍 项目细节 mysql（这里问了很多） 大数据的基本八股 计算机网络tcp 一道sql题，一道算法题 （吐槽一下百度的如流，用网页端看不到聊天框，最后还是下载了客户端才看到，面百度的小伙伴记住面试了要下载如流） 反问:问了一下业务 10.19二面（30minute） 自我介绍 项目细节流程 两个项目的关系 为什么不继续做大模型 实习多久

1.自我介绍 2，实习内容 如何实现数据同步 数据同步过程中遇到的问题有哪些 数据同步过后有没有进行验证 你自己设计数据同步系统要注意哪些问题 3，mybatis 与mybatis -plus 的不同之处 4，mysql 怎么优化 对mysql 的看法 5，手撕删除链表的第n个节点 6，jvm了解吗 7，springboot 有看过源码吗 8，动态代理了解吗 感觉不太妙 像是kpi面一样 竟然没有

等的心慌，写面经攒人品 9.15一面（25分钟，纯八股） 问实习的项目 研究生科研项目 疯狂hive，hive调优 一直问联邦学习，问了两遍 等了很久很久才二面，中间还收到了安抚短信。 ———————————————————————————— 9.26二面（30分钟，纯八股） hdfs读写流程 spark算子 spark调优 数据倾斜 对荣耀有什么想了解的（了解到我面试的部门是产品线云服务） 这个