我是大数据欧老师,曾在互联网某大厂任大数据负责人,从业大数据领域近 10 年,全网粉丝 5000+,从很多候选人的面试和咨询中复盘了大数据工程师的面试全流程,如果你有求职大数据工程师的计划,欢迎找我聊一聊!
直接拿走去复习!!!
Spark 知识点(上)- 原理题
- RDD 的概念?RDD 的常见算子?
- Spark 和其他框架的比较?和 Hadoop 的比较?Spark Streaming 和 Flink 的比较?
- Client 提交 vs Cluster 提交模式的区别?
- RDD 持久化等级和含义?
- 广播变量实现原理?
- Accumulator 累加器的实现原理?
- repartition vs coalesce ?
- RDD 的宽窄依赖?
- Shuffle 分类和原理?
- Spark 的内存模型?Execution Mem vs Storage Mem? 如果 Mem 不足怎么处理?
Spark 知识点(下)- 调优题
- 内存如何调优?
- 序列化对性能的影响?场景?例子?
- 并行度调优,如何合理设置并行度?
- 数据 Locality?存算一体和存算分离的好处?
- Spark Shuffle 的常见优化手段?
- 数据倾斜场景和常见优化手段?
#一人推荐一个机械人值得去的公司#
#牛客在线求职答疑中心##牛客解忧铺##大数据##字节跳动#