《大数据开发面经》专题

前言 星环感觉整个流程非常不错，二面面试官不是搞大数据的，但是交流上感觉到了尊重，面试实在7月份，八月份就给意向了，进展到十月份了对比看来星环流程真的不错（PDD推荐组某个面试官一生黑），看到大数据后端已经不招人了，但是可能会拒掉 一面 忘记了没有记录 二面 1.1. HBASE架构 1.2. Regionserver结构 1.3. Hbase避免热点数据（Rowkey的设计） [大白话彻底讲透

时长：1h 由于问题太多，分四类进行整理 0. 实习相关：之前有数据开发的实习经验，就问了之前工作有没有spark或者hivesql优化的经验；如何确保数据的有效性；实习公司数据存储格式（Parquet），还知道哪些数据存储格式 1. 大数据相关问题：为什么Spark比MR快；对Spark的了解；两个表join的优化方法（大小表join可以map-side join, join前过滤null值）；

#暑期# #投递实习岗位前的准备# 3月23日--分享个经验，求个好运 时长一个小时二十分钟 自我介绍 因为学统计的，问了中心极限定理和大数据定律 机器学习-XGBoost算法简介 两道智力题：逻辑判断谁说谎了和分金条 问了为什么研究生跨专业保研了？ Hive和MySQL区别 数据库的索引有什么用 说一下索引的类型，还有B+树索引 数据仓库和关系型数据库区别 Hadoop生态圈简介 问我SQL写的

1.自我介绍 2.说一下数据库范式 3.说一下Hbase 4.Hbase的rowkey怎么设计的 5.说一下Clickhouse 6.说一下你了解的数据库底层的一些知识 7.数仓为什么这样分层 8.数据表和数据视图的区别 9.实习 数仓让你觉得有成就感的地方 10.你对离线感兴趣还是对实时感兴趣 11.你知道OLAP数据库都有哪些 12.Sql题 13.Hive Spark优化掌握的怎么样？ 14

自我介绍后根据我的项目问我了一些问题，虚拟列表，懒加载，canvas怎么压缩的（这个没答对） 项目怎么实现鉴权的，我说的jwt，巴拉巴拉 然后又问了cookie， 问了防抖节流 项目跨域是怎么解决的（项目上线后用反向代理不太好） 问了数据类型，然后就问深拷贝浅拷贝，让我实现深拷贝 问promise，让我实现all和race方法 解释下事件循环机制 nextTick 总结：还是要多写写底层源码，回答

一面 面试官会一步一步引导， 也会给出自己的见解，体验很好 简单介绍一下自己 接口优化，讲讲背景，怎么做的 八张表同时并发去查的话，会不会对数据库的压力很大，有没有考虑这方面？数据库的负载怎么样？ 什么情况会导致索引失效？索引命中的原理？ select .... where b = xx and c = xx 会命中索引吗，怎么优化这个问题？ 有个字段叫city，你觉得用city建索引合适吗 用单

一、前言 在继续阅读之前，请先思考一下是否曾经遇到过以下问题： 对大数据源码一无所知 不擅长突出项目亮点 缺乏算法刷题技巧 难以理解面试笔记V5.0中的答案 ...... 如果你曾经或者正在面对以上问题，那么面试笔记V6.0可能会成为你的解决之道 大数据开发面试笔记V5.0发布已有半年，现在V6.0终于推出，本次更新的主要内容如下： 二、核心目录 V6.0笔记包含大数据篇、计算机语言篇、计算机基础

介绍项目 说一下遇到的难点 项目的核心指标就是**的占有率吗？ 怎么验证数据的准确性？ 有遇到过数据对不齐的时候吗，怎么发现的。 讲一下数仓分层的好处 如果需求方想临时插一条数据进数仓，怎么解决。答找后端更新数据，我再重刷。 除了这个办法呢？能不能在数仓中直接insert一条数据。 为什么不建议直接往同一个分区追加新的数据？ 为什么要选择数据开发？别人都说数据开发是sql boy，你怎么看这句话。

    2023年4月，大数据开发面试笔记V3.0发布，过去已经两个月，V4.0终于来了，这次主要新增了企业级调优手法以及数据湖基础等内容。如今面试越来越难，常常会被问到大数据的前沿知识比如数据湖，以及企业级调优手段有哪些等，于是我结合自己在大厂的工作经历进行了补充，最终汇聚成一份全面的大数据开发面试笔记。     此笔记包含大数据开发、Java、计算机基础、数仓理论、常考SQL、大数据开发场景题

在boss上投了简历，沟通之后，今天接到了可以线上面试的电话 （面试官说之前打电话都没有人接，因为之前我一直开的手机免骚扰，最近才发现这个问题，友友们记得看看拦截的设置，真的会错过面试电话） 问题（顺序有点乱，因为有的后面才想起来是前面问的） 1.自我介绍 2.介绍一下做的项目 3.项目详情 4.学校教授的课程有哪些、学python多久了、有哪些是用python的、python的基本知识 （插一个

自我介绍 什么是数据仓库，和数据库有什么区别？ 数仓是怎么构建的？（然后开始细抠项目的内容，可怕） Hive的存储格式有哪些？ 实习做了什么工作？有哪些难点？为什么离职？（寒冬哪有我的位置？） Spark和Flink的区别是什么？（简单说了一两点，感觉不是面试官要的答案） Spark Streaming接收Kafka数据的两种方式？（这题真不会） 都学过哪些专业课程？ 结束 整个流程挺快的，会就是

项目，根据项目问一些八股 略 记录没答好的 mapreduce的shuffle算法有哪些？ mapreduce说的时候忘记切片过程了，导致后面问map分区数懵了，这都能忘废了 雪花和星型模型的区别，我只答了join和冗余，没答全

1.问实习问项目问成绩 2.机器学习算法了解哪些，分类算法？特征工程？ 3.kafka原理，spark优势 反问：业务技术有哪些—离线实时都有，和国外电商有关 总结：时间较短二十分钟，比较轻松，不知道有没有二面

马上入职一个月了 记录一下面经～ 一面：（50min） 1.自我介绍 2.介绍实习项目 3.实习过程中遇到了问题是怎么排查的？ 4.介绍一下你自己写的项目 5.讲一下java内存模型 6.scala和java有什么区别？说一下你的理解 7.手撕代码：两道sql，一个算法，算法是反转链表 8.你对数据仓库了解多少？对大数据了解多少？ 反问： 1.评价 2.部门技术栈 #美团##美团25届转正实习##

#互联网公司爆料# 这个公司我是参加的校招，当时面试我的估计是一个组长，问了大数据SQL，以及spark，对于SQL我轻松秒杀，spark当时也学习了没啥压力，面了20分钟直接通过后面是一个技术负责人面我，问了一下hive，MapReduce，Java集合，也是直接通过，感觉技术不难，最后HRBP直接来面我，也是直接过，后面就是直接发offer，薪资真的不高，就11k，13薪吧，我感觉不高直接拒绝