《大数据开发工程师》专题

上来20min先做题，两道sql，一道数学，一道概率 问数据相关，接触过什么数据库，数据体量，mysql优劣势，mapresduce数据倾斜，hive，sql内置函数 自定义函数 复盘：熟悉应用场景 问答风格无八股，侧重于考察真正理解程度 寄。

最开始发来的邮件说是电话面，当天走完了一面二面，中间只间隔了二十多分钟，当晚HR面，第二天看状态结束了。。。。凉凉 这次幸亏是电话面，手机直接录音了，记录的详细一些。 一面 面试时间：20min 自我介绍？ 实习工作介绍，实习内容，所用的技术栈。。。 怎么和同事配合的？自己有开发了那些？有什么提高？ 你们这个项目，你觉得还有那些地方可以做优化？ 离线和实时结合，未来发展的一些看法？ Hive的组成

30min拷打项目，其他八股一点没问，算法和sql也没做。 跟我说如果还有后续的话还有一个hr面。 怎么就三十分钟啊？不会KPI了吧，许愿许愿许愿

40min左右 1.自我介绍 2.关系型数据库与非关系型数据库的区别，并举例 3.介绍hadoop 4.hadoop与hdfs的关系 5.spark的RDD的几个特点 6.RDD相对于mapreduce的优点缺点 7.hive join的几个方式，说明其原理 8.使用python是否做过大项目 9.为什么rdd处理速度比mp快，为什么mp没有被淘汰依然在使用。 10.提问项目 11.排序有哪些算法

1.去公司线下面试，有笔试题 1.填资料，个人信息，以及有关职业发展问题 1.比如，你的缺点和优点是什么，对你个人产生怎样的影响？ 2.如果你和他人有不同的观点，你该如何和他人讨论？ 等等，基本就是情商面 笔试题 1.中科软是一家主做保险的外包公司，所以用到的sql主要是oracle, 选择题有几道oracle的题， 2.然后有简答题，也比较简单 面试环节 1.自我介绍 2.对于shell部分的提

处女面，很紧张 1. 问项目 2. 项目中为什么使用kafka作为缓冲队列。 3. mapreduce原理。 4. 如果mapreduce发生数据倾斜该如何解决。 5. 解释一下列式存储、列式存储的文件格式。 6. 星型模型、雪花模型、星座模型的区别和应用场景。 7. 拉链表是什么、一般解决什么问题。 8. 什么是指标体系、如何明确指标体系。 9. zookeeper、datax等（项目上写的组件

9.21号下午一面的，忘记发牛客了，现在补上 一个年轻并且非常友好的面试官，沟通也比较顺畅，完全按照我的简历一条条过，八股很少，问也只会问涉及项目的八股 - 介绍实习部门的业务，数仓架构 - 以下内容都是我简历具体的内容，可能没啥参考意义，中间穿插的一些细节问题有点忘了： - Cube表性能优化，还有其他优化的方法吗 - 表分桶优化，一般表关联还能怎么优化 - 小文件治理 - SLA治理 - 数据

25、MR工作原理 Input Spliting：输入的数据被拆分成更小数据块（Input Splits：将大文件切割成适合并行处理的小块数据，每个小块数据称为一个分片，一个分片作为MR处理的基本单元）Mapping：mapper节点将分配到数据块执行map操作，产生中间结果（k,v）键值对并写入到本地磁盘Shuffling and Sorting：Mapper节点会根据Key进行排序，并将相同K

主要问经历，问项目的比较多 hdfs的角色有哪些，功能 hdfs的写流程 Java的线程安全是什么 最熟悉的集合是什么？详细描述一下 Arraylist为什么长度可变 python的装饰器用过没？是什么东西？ 手撕python编程题，给定一段字符串，统计出每个单词的频率，频率相同的按降序排序 外部表和内部表的区别？ 为什么选择多益？ 对游戏的流失人数进行分析？ 有没有拿到其他公司的OFFER

1.自我介绍 2.实习技术难点 3.项目技术难点 4.id timestamp 位置 三个字段完全一样的去重，sql怎么做scala怎么做 挑选同个人最后一个时间戳的记录，sql怎么做scala怎么做 5.spark submit提交参数 6.内存/并行度参数优化方案和技巧 7.当出现数据倾斜的时候怎么排查，怎么处理 不能只提八股，要完善分情况的答 8.两数之和 9.小数之和 10.反问，写sca

9.11 一面 35min： 1.自我介绍 2.专业介绍 3.Mysql索引 4.Mysql事务并发导致的问题 5.Mysql两种引擎的对比 6.Hadoop运行模式 7.job tracker 作用 8.Hdfs小文件问题 9.Hadoop调度器 10.Hadoop脑裂出现的原因 11.Kafka 怎样保证不丢数据 12.Flink task和subtask 的区别 13.并行度和slot的关系

笔试过了一个月给捞起来了 一面 45min 1. 自我介绍 2. 细聊项目，很细（一上来就忘了数据量，尴尬） 3. 特征工程怎么做的 4. iv值的计算方法 5. AUC的计算方法 6. 正反例不平衡对auc有影响吗 7. 知道过拟合吗 8. 逻辑回归怎么解决过拟合问题 9. 写个函数指针 10. pandas库有哪些数据类型 11. 怎么取两个dataframe有差异的部分（忘了具体函数了，讲了

🕒 岗位/笔试时间 岗位:软件服务工程师（数据开发方向） 6月12日 19:00-20:00 📝 笔试题目 选择题：包括数据库，sql的一些相关知识 还有一道代码题，记不太清了 🤔 笔试感受 当时代码题写了一半，没完成，以为凉了，但是后续通知了一面 🕒 岗位/面试时间 6月18日 11:00（大概四十分钟） 👥 面试题目 自我介绍 介绍项目 大数据开发工具有哪些（详细介绍） 数据倾斜解决

一面难绷，上来就问hashmap 我说先自我介绍吧，面试官说啊对对对 介绍完了，开始问项目，问实习， 全程听完之后，好，下一个问题哈，瞟一眼出题，然后八股，问了十几分钟 我也懒得答太详细了 就给我出题，反转链表 精彩部分来了，他不知道哪里把题目发给我，也不知道让我在哪里写，我说不用发题目给我，我在聊天框写，写了一会发现格式难调，他就让我口述，口述完之后，他就说你有什么想问的吗，我说我没什么想问的，

全程15分钟，5位面试官，小姐姐挺好看的，嘻嘻嘻！ 1、自我介绍 2、问我项目中springcloud中使用的组件 3、问我如何使用nacos和gateway 4、问我如果出现400怎么回事 5、问我另一个项目中redis的定位 6、如何在项目中使用redis的以及相关场景 7、小姐姐问意向地方和目前有那几个offer 完事！ #联通数科##Java开发#