《大数据开发实习生》专题

1.自我介绍 2.实习最大收获 3.odps平台的性能调优与spark的性能调优的共同点和差异点 5.spark的countdistinct算子优化 6.bitmap作用在expload的作用是什么？ 7.小文件过多的影响 8.sql countdistinct优化代码手写 9.反问 #大数据开发##数据人的面试交流地#

1.平常是用python还是java？python和java掌握程度？ 2.hadoop的组成，每部分有什么用。 3.spark掌握的怎么样，SQL练过哪些题。 4.mapreduce源码看过吗？ 5.wordcount的流程。 6.Scala有没有学过？ 然后开始挖简历，还问了我一些业务的问题。 说后面会通知二面，也不知道有没有...

10.16投递 10.17一面（50minute） 自我介绍 项目细节 mysql（这里问了很多） 大数据的基本八股 计算机网络tcp 一道sql题，一道算法题 （吐槽一下百度的如流，用网页端看不到聊天框，最后还是下载了客户端才看到，面百度的小伙伴记住面试了要下载如流） 反问:问了一下业务 10.19二面（30minute） 自我介绍 项目细节流程 两个项目的关系 为什么不继续做大模型 实习多久

一面——60mins 自我介绍 拉链表的制作，数据量有多少，为什么不用快照表呢 项目有哪些表 数仓分层有哪些，具体做了什么，数仓分层作用 怎么设计表，怎么建模，DIM DWD层的主题分了哪些 如何做的可视化 什么是数据倾斜，数据倾斜的解决方案 Hadoop和spark的区别 Spark的shuffle流程是怎么样的 对哪些数据库了解 Shuffle有哪几种类型 在shuffle的过程中会进行排序吗

一面：(1h) 1.自我介绍 2.选一个熟悉的项目介绍一下吧 3.看你简历上写了进行过数仓的搭建，那你说一下数仓分几层合适？ 4.每一层干了那些事儿？ 5.你说一下数仓为何要进行分层？ 6.数仓的建模方法知道吗？ 7.指标分类有哪些？（回答的是原子指标，派生指标，衍生指标） 8.你的ods层为何选择gzip压缩呢？ 9.除了gzip压缩还有哪些压缩方法？介绍他们的区别？10.项目中你的hive表使

给了三道题，两道SQL，还有一个程序设计题。 1、银行交易记录表，字段有(id，存取金额(存为+，取为-)，交易id) （1）求每个人的总余额 （2）求每次交易后的余额 2、学生成绩表，字段为：学生id、成绩（内容格式为："数学：xxx，语文：xxx"） 将成绩字段拆分为科目和成绩两个字段，每个学生拥有的科目不一定相同 3、一个文件里是一个整数占一个G大小，求该

一共两轮技术面一轮HR面，第一轮面试hive 问题居多，第二轮hadoop 问题居多，整体来说问题不是很难，方向为数仓。 一面: 11.30下午 牛客网面试 30min 自我介绍 数仓项目介绍 什么是全量表，什么是增量表，以及应用的场景 了不了解拉链表，讲一下拉链表如何生成 什么是内部表，什么是外部表，有什么区别 Hive中小文件形成的原因及解决办法 Hive SQL的优化方法 讲一下熟悉的窗口函

1.Spark的运行机制 2.union是宽依赖还是窄依赖 3.常见的action算子 4.reduceByKey和groupByKey的区别 5.Spark的checkpoint 6.Spark的cache和persist区别 7.Flink的checkpoint和Spark的checkpoint区别 8.Flink的两阶段提交问题 反问 用什么做什么 基本大数据组件都会用，shein数据量大而

岗位JD 使用大数据组件对海量数据进行建模，参与数据仓库的的开发、维护及优化 岗位要求 计算机相关专业，对大数据有浓烈的兴趣 扎实的计算机基础，熟练使用python/java/scala其中至少一种语言 熟悉Hadoop生态体系，包括但不限于Hadoop/Hive/Spark/Clickhouse 学习能力强，强烈的责任心，具有较强的沟通能力及团队合作精神，细致耐心、积极主动 有大规模数据/日志处

1. 自我介绍 2. 问了一下简历上的项目（研一在国电做的） 3. Spark有没有过调优 4. 基于我对Spark调优的一些回答进行追问： ● 我提到了利用RDD缓存进行RDD复用，追问Spark缓存一般可以用什么函数做到（cache，presist） ● 追问并行度的设置方法（配置文件或在代码中） ● 并行度的值一般根据什么设置（CPU核数的2-3倍） 5. Hive执行原理（SQL到MR的过

前言 从2023年3月初开始投递暑期实习，几乎所有大厂都投递过了，有些简历都过不了，有些一面直接挂了，虽然说确实互联网行情不是特别的好，但是应该还是自己能力不足，做的简历不够漂亮； 4月的时候第一次刷到了@三石数据的面经帖（见下图），于是跟他聊了一下，真的收获太多了，非常非常感谢这位大佬的指导，不仅帮助我修改简历，而且还给我解答一些在面试中遇到的问题；大佬要是没女朋友的话，我愿意以身相许（开个玩笑

视频ms 前三分钟 自我介绍 数据仓库的了解 怎样设计数据分层 了解的大数据组件 spark用于解决什么问题 spark底层逻辑 sql的join实现方式 举例A（3） join B （5） 有几条数据 join底层逻辑 sql题 查询用户峰值 全程不到30分钟 **我就是一个小菜鸡。问就是面试凉凉 问的其实感觉没有特别难 但就是啥都不会。还是学的太过浅层次。总的来说 项目拷打 底层深挖。G

了解大数据吗？ 分布式是什么？ 1、list、set、map之间的区别与联系 2、arraylist和linkedlist之间的区别与联系 3、数组与链表的区别 4、线程和进程的区别？为什么要设置线程？ 5、线程安全如何保证？几种方法？为什么会出现线程不安全 6、线程池用于干啥？ 7、同步与异步的概念？ SQL相关 1、讲一下索引？索引怎么实现 2、列排序是什么数据结构？ 3、B树和B+树的区别？

个人情况简述：本硕双非，acm银牌 随便找群友要了个内推投递 笔试4.2题，投递选择的是都喜欢，笔试完在人才池待了十几天，被数仓部门捞了 一面（总时长50分钟） 聊实习经历和简历项目，聊了约30分钟 聊天环节把整个技术栈聊的差不多了，还有离线、实时数仓的很多点，后面又问了几个问题 离线数仓分层设计、实时数仓设计，spark、flink相关生成经验，S3、OSS的使用理解，k8s的使用心得等都在聊项

目前去团子了。总结一下一个多月以来找实习的历程，也算是非常坎坷了，好在最后结果还行，最后说一句我是团孝子 #暑假实习# #美团# #大数据开发#