《大数据开发》专题

一面 面试官会一步一步引导， 也会给出自己的见解，体验很好 简单介绍一下自己 接口优化，讲讲背景，怎么做的 八张表同时并发去查的话，会不会对数据库的压力很大，有没有考虑这方面？数据库的负载怎么样？ 什么情况会导致索引失效？索引命中的原理？ select .... where b = xx and c = xx 会命中索引吗，怎么优化这个问题？ 有个字段叫city，你觉得用city建索引合适吗 用单

秋招第一个意向 感恩团子！ 二面和hr面感觉自己发挥得并不是很好，一度以为凉了... timeline: 两次笔试都a四道多一丁点。 8.29 一面 8.31 二面 9.5 hr面 9.7 意向 一面 60min: jvm了解哪些 垃圾回收了解哪些 主线程和另外十个线程，怎样使主线程最后执行完毕 （join、await） flink checkpoint kafka有序和不丢如何保证 算法题 链表

1.问项目 2.数据倾斜，spark,hive,问的比较多。大多是简单的八股 3.问java很多（没复习，哭死） ①java的多态是怎么实现的、 ②java泛型了解吗 ③java反射了解吗 ④java垃圾清理机制是什么 ⑤java多线程了解吗 直接一问三不知 4.sql现场写代码

1、自我介绍 2、实习经历介绍 3、实习项目难点介绍 4、你比别人的优势是什么 5、hive相比与传统数据库的优势是什么 6、hive集成了mapreduce，如何将hive语句转换为mapreduce 7、hive on spark和spark on hive的区别 8、spark调优你做过哪些？ 9、数据倾斜调参和不调参的方法你知道有哪些 10、数仓的存储介质有哪些 11、数仓建模的话你会如何

一、前言 在继续阅读之前，请先思考一下是否曾经遇到过以下问题： 对大数据源码一无所知 不擅长突出项目亮点 缺乏算法刷题技巧 难以理解面试笔记V5.0中的答案 ...... 如果你曾经或者正在面对以上问题，那么面试笔记V6.0可能会成为你的解决之道 大数据开发面试笔记V5.0发布已有半年，现在V6.0终于推出，本次更新的主要内容如下： 二、核心目录 V6.0笔记包含大数据篇、计算机语言篇、计算机基础

介绍项目 说一下遇到的难点 项目的核心指标就是**的占有率吗？ 怎么验证数据的准确性？ 有遇到过数据对不齐的时候吗，怎么发现的。 讲一下数仓分层的好处 如果需求方想临时插一条数据进数仓，怎么解决。答找后端更新数据，我再重刷。 除了这个办法呢？能不能在数仓中直接insert一条数据。 为什么不建议直接往同一个分区追加新的数据？ 为什么要选择数据开发？别人都说数据开发是sql boy，你怎么看这句话。

一面6.14 45min 挖简历项目 机器学习线性模型口诉原理（简历提到机器学习） 手写最大子数组和（ac通过），要求nlogn复杂度。（提示递归，未答出） 无八股 二面6.18 1h 挖简历项目（详细介绍项目、随口问了下springboot与jdk版本 、MongoDB原理，elasticsaerch等） 场景题：抢购平台，有哪些与异常相关的字段，比如用户订单等信息。如何设计异常检测大数据平台

    2023年4月，大数据开发面试笔记V3.0发布，过去已经两个月，V4.0终于来了，这次主要新增了企业级调优手法以及数据湖基础等内容。如今面试越来越难，常常会被问到大数据的前沿知识比如数据湖，以及企业级调优手段有哪些等，于是我结合自己在大厂的工作经历进行了补充，最终汇聚成一份全面的大数据开发面试笔记。     此笔记包含大数据开发、Java、计算机基础、数仓理论、常考SQL、大数据开发场景题

在boss上投了简历，沟通之后，今天接到了可以线上面试的电话 （面试官说之前打电话都没有人接，因为之前我一直开的手机免骚扰，最近才发现这个问题，友友们记得看看拦截的设置，真的会错过面试电话） 问题（顺序有点乱，因为有的后面才想起来是前面问的） 1.自我介绍 2.介绍一下做的项目 3.项目详情 4.学校教授的课程有哪些、学python多久了、有哪些是用python的、python的基本知识 （插一个

1.自我介绍 2.学校是哪里的，家庭成员，父母做什么的 3.能接受加班，能出差吗？ linux服务器之间的文件传输命令 怎么查看日志 什么是中间件（中间件） 4.sql熟悉吗，增删改查的命令有哪些。 5.有啥想问的？ 6.未来规划 正如我所写的那样，很简单，但是我还是有些忘了没答上来。 面试难度，因为我有些简单的都没答上来，好像提前结束了。可以试着冲一冲。

数据开发-电梯数据开发举例 离线数据开发 实时数据开发 数据开发-电梯数据开发举例 更新时间：2018-02-01 21:17:58 假设电梯设备，每天都会定时上传数据，每台电梯每隔1分钟会上传一次数据，包括电梯id，运行状态（上行，下行，停止），门状态（打开，关闭），数据会进入离线表和实时的METAQ。 离线数据开发 业务需求：电梯利用率情况（某个单位的电梯在某个小时段内利用率，可以减少这个单位

2022/08/13 一面  时长15min 感觉啥也没问 自我介绍 项目主要是大数据相关，你对算法方面了解多少 实习在做什么 想做偏算法还是偏数据的工作 如果其他部门提的取数需求做不了 你会怎么做 面试官介绍他们的电池时序数据 反问：业务部门多少人，入职后做的工作偏算法还是数据 ------------------------------------------- 2022/08/13 面试刚结

一面　30min 两个面试官　一个问技术　一个问综合 自我介绍 比赛经历 比赛中Mapreduce写了哪几部分代码 实习项目说一下 实习任务分工 Kafka生产者消费者说一下 有什么主要的参数 一个SQL题目，要求根据经度纬度输出地点 场景题写一个spark代码 反问 －－－－－－－－－－－－－－－－－－－ 2022/09/22　电话沟通意向　已拒绝　工作地点在宁波 #吉利控股##我的秋招记录#

一面  30min 自我介绍 项目经历 实习项目介绍一下 具体任务调度用的什么 ETL任务血缘怎么设置 实习公司数仓主题怎么划分 你所在部门构成 多少人 阿里云框架各部分负责什么功能 大数据国赛各部分做什么任务 Map Reduce过程介绍一下 count distinct的Map Reduce过程说一下 有几个map和reduce 实现count distinct功能你会怎么考虑优化 一道SQL

2023春招找实习的同学跟我分享了他的面试经历，在这里我进行了一些总结梳理，然后发出来供大家学习 1.自我介绍 2.八股文 你写的这个实时数仓，维表是怎么更新的 flink了解吧，flink里面断流怎么处理 flink的exactly-once是怎么实现的 checkpoint的时候barrier什么时候发送 checkpoint产生了很多快照，怎么进行处理呢 sparkstreaming和str