《大数据开发面经》专题

1.自我介绍 2.数据采集相关，怎么把kafka中的数据采集到mysql中？ 忘了 3.hive，两张表的重复数据，怎么去重？ 回答distinct,group by ，开窗取第一条， 开窗函数是哪个？ 没回答上来 4.udf函数写过吗，flink消费kafka中的数据写过代码吗，需要看代码？ 5.使用java干过那些代码？ 面试时长：10分钟，面试效果，差 不足：对于简历上的内容，回答支支吾吾，

47、zookeeper是什么？ 主要服务于分布式系统，可用来做统一配置管理、统一命令服务、分布式锁、集群管理等 48、zookeeper的作用以及适用场景？ 数据的发布订阅：由于大数据集群中节点过多，不可逐台进行修改，在设计时候采用统一的配置中心，之后只需要将新的配置发送到配置中心，所有节点都可自动下载更新命名服务：zk通过顺序节点的特性来生成全局唯一IDMaster选举：让所有服务节点去竞争性

1.问项目 2.接触过数据库有哪些 3.用过mysql的哪些功能 4.有没有优化过mysql的性能？ 5.linux常用命令 6.hive表类型 7. 内部表和外部表区别 7.左连接右连接全连接内连接 8.hdfs shell 问的都打上来了 面试官说下周发offer= = 整个过程13分钟，好快，想到第一个面试1.5hT T

前面的IEG秒挂后2天被这个部门捞了，这几天准备了下算法，但是项目有点懈怠了 时间：3月11日 14：40 ，时长45分钟 全程拷打Java项目，掺了一些业务相关的八股 拷打查询优化细节： 因为项目亮点手贱，写了用Redis缓存优化前时间、优化后时间。结果疯狂拷打怎么得出的优化时间 其实是编的数据😭😭，引以为鉴！！ ⭕查询时间是怎么测出来的？ 肉眼对比效果 + 查询前时间 对比 查询后时间 ❌

1、自我介绍 2、跳槽理由 3、介绍团队 4、自己感觉做的最好的项目(扣的很细，聊了很久) 5、遇到过的技术问题 6、数据倾斜如何解决 7、缓慢变化维怎么解决 8、周期变化事实数据，比如七天累计订单表应该放哪一层？为什么？ 9、什么数仓才算一个好的数仓 10、雪花模型跟星型模型区别 11、写sql题 12、反问 面了三家 淘天、字节、pdd，都offer了，这个草稿也是当时写的一直忘发了，后面有空

1、 确认专业，保研，成绩，排名 2、 课程内容，研究生课程等 3、 数据库底层索引的优劣势？ 4、 我现在有一张表把所有字段都加索引了，这样好吗？ 5、 存储过程和视图？ 6、 视图字段是单独存储的吗？ 7、 MR原理用你自己话简单描述。 8、 MR中数据倾斜的产生情况，你如何解决？ 9、 一个复杂的SQL中发生了数据倾斜，你怎么确定是哪个group by还是join发生的？ 10、 count

1、 是找大数据还是算法？ 2、 对大数据领域的了解？ 3、 从0-1建设数仓，你怎么做？ 4、 数仓建设规范，依据？ 5、 没想一块去，他想问建模思想之类的。维度、范式 6、 会哪些技术栈？ 7、 Hadoop讲讲吧？ 8、 为什么要有Hive，Hive作用？ 9、 详细讲讲MR？ 10、 数据倾斜发生的位置？ 11、 Combiner了解吗？ 12、 什么情况下不能用Combiner？ 13、

1、 在XX实习，目前没有offer吗？ 2、 实习和你项目的区别、实习项目主要做的内容？ 3、 实习的难点？ 4、 系统主要做的什么？ 5、 讲讲MR？ 6、 数据倾斜遇到过吗？ 7、 除了null值呢？ 8、 除了随机打散还有别的方案解决吗？

2022-8-9 下午两点十八 HR面 1 自我介绍 2 实验室研究方向 3 成绩排名 4 比赛 6 7 8 9.... 2-3周会通知结果 offer得等研究院开放 #大华提前批##面经#

公司：北京快手 面试时间：2024.07.04，共计55分钟 问题 自我介绍 Java中Map在内存中的存储结构，如何存储数据？ HashMap的底层数据结构是什么？ 介绍一下ArrayList？ int a1[4096]; Integer a2[4096]; 两个数组求和哪个更快？ 对连续内存的数据做计算，CPU会有哪些加速设计？ Java中创建对象返回的引用地址和物理内存条中的地址有什么关系？

公司：广州网易互娱 面试时间：2024.07.23，共计65分钟 共两位技术面试官，轮流提问 流程：自我介绍、项目、基础知识(Java基础方面、数据库方面、计算机基础方面(操作系统)、计算机网络方面)、算法笔试。 问题 自我介绍 项目方面 成本治理中负责的工作内容 数据平台中，任务计算成本的计费维度 Spark作业从哪些方面可以发现能够优化？ Spark作业可以从哪些方面进行优化？ 从哪些配置入手

游戏开发——数据工程，50分钟 问的都是八股 四类访问权限；四种内部类；反射机制；JMM内存模型；ArrayList和LinkedList；final VS finalize VS finally； 两道编程题： 有序列表合并；最长回文串 等消息

时间：2022年7月1日 面试职位：大数据开发工程师（留用实习生） 如题，留用实习生也就是平时说的暑期实习生，有转正机会的实习生 面试流程，自我介绍，什么时候能入职，学校的事情都已经忙完了吗， 我简单的说了一下情况然后第一问题： ①怎么平衡学校的课程，论文的研究工作，和找工作的时间安排    ②说一说自己的实习经历 ③看到我写电商数仓的项目，介绍一下电商数仓的项目。 前面的问题都回答的还好，但是这

1. 自我介绍 2. jvm分区 3. springboot启动过程 4. mysql事务 5. char和varchar 6. char最大是多少 7. git命令以及提交过程 8. redis应用场景，这个比较拿手，实习用的太多了。 9. 反问 一共才18分钟，不知道是不是kpi面试，很基础，点到为止。 希望能有二面，好想去武汉。

1h 1面 自我介绍 项目介绍 事实维度建模的优点 维度建模方法 数仓分层和分主题的理由 OLAP平台了解吗 数据治理了解吗 spark shuffle展开讲一下 spark内存管理模型讲一下，分别存储哪些东西 hadoop优化思路有哪些 如何防止sql引起的数据倾斜 sql对比，找不同，join and和join where两者的区别 一道sql题，提示半天才做出来，对sql不太熟悉，很多了解的