《数据开发工程师》专题

投递小米将近一个月了，本以为已经凉了，没想到突然接到了HR的电话，通知我准备面试，热乎乎的面经分享给各位，希望大家多多点赞收藏。 自我介绍（提前准备一下，不谈） 你的项目经历有哪些硬件相关？谈谈单片机在与上位机通信过程中，如果存在时间片用完的情况怎么处理？（介绍项目，回答多线程互斥同步问题，加锁） 你的简历中提到某个项目，你的参与情况和职责分工如何？（项目负责人，深度参与） 谈谈你对测试开发工程师

自我介绍 什么是数据仓库，和数据库有什么区别？ 数仓是怎么构建的？（然后开始细抠项目的内容，可怕） Hive的存储格式有哪些？ 实习做了什么工作？有哪些难点？为什么离职？（寒冬哪有我的位置？） Spark和Flink的区别是什么？（简单说了一两点，感觉不是面试官要的答案） Spark Streaming接收Kafka数据的两种方式？（这题真不会） 都学过哪些专业课程？ 结束 整个流程挺快的，会就是

1. hadoop如何实习高可用 2. 实习的需求（异步io） 3. 进程和线程的区别，通信方式有何不同，在开发过程中，需要注意的地方？ 4. 物理地址空间和逻辑地址空间 5. 两道算法题，一道二分，另一道是改进之后的二分

1.自我介绍 2.项目 3.实习优化工作 4.强化学习原理 5.sql和java/python的区别 6.写题 统计每个年级，最高分数学生 7.numpy\pandas有没有一种可变机制的修改（没听过，真没听过） 8.对于RDD不可变的理解 9.对谓词和谓词下推的理解

思特奇一面 19min（已进终面）总体来说不难，但是网上风评不太好 1. 自我介绍 2. 介绍一下你在实习中用到最多，掌握最好的技术？ 3. 介绍一下你项目中，从数据采集，到数据加工到标签生成，整个流程能介绍一下吗？ 4. 标签用什么语言开发？能简单介绍一下hive吗？hive的分区？hive表能单条删数据吗？ 5. 你能说一下hive sql的性能优化吗？参数+代码 6. 说一下你的比赛内容？你

项目，根据项目问一些八股 略 记录没答好的 mapreduce的shuffle算法有哪些？ mapreduce说的时候忘记切片过程了，导致后面问map分区数懵了，这都能忘废了 雪花和星型模型的区别，我只答了join和冗余，没答全

研究生学的机器学习，结果今年算法岗全军覆没，倒是开发岗被捞了。由于是三个多月之前的面试，有些问题记不清了，特此抱歉。 23.11.30 一面 自我介绍 JVM的组成，垃圾回收机制 MapReduce的流程，Spark与Hadoop的优劣 快速排序的原理，是否是稳定的（估计是前面答得不太熟，太久都忘了） BEV的原理和流程（简历项目） 笔试第一题的思路 手撕（只记得是一道滑动窗口的题，用两层for就

1.问实习问项目问成绩 2.机器学习算法了解哪些，分类算法？特征工程？ 3.kafka原理，spark优势 反问：业务技术有哪些—离线实时都有，和国外电商有关 总结：时间较短二十分钟，比较轻松，不知道有没有二面

24届秋招 一面电话面 自我介绍 介绍实习工作 数据倾斜怎么解决 map join 原理 维度缓慢变化了解吗 二面视频面 介绍实习 实习工作具体内容 口述SQL题 了解哪些数据治理 数据仓库迁移介绍下 过了几天HR面 OC

腾讯会议一面(30分钟) 自我介绍 项目介绍 数据如何采集，整个流程叙述一遍 项目难点说一下 两个项目的区别讲一下 数仓分层里面的表叙述一下有什么 分析一下两个事物之间的关系，怎么分析(有点抽象的问题)，有什么经验

👥 面试题目 hadoop的三个核心组件，以及hdfs的读写原理 hive的内部表与外部表有什么区别 hive里面的数据倾斜是什么？怎么去处理？该怎么去预防？ 数据仓库的分为几层？每一层是做什么的？是根据什么进行分层的？ hive里面的窗口函数有没有用过？rank(),,dense_rank(),row_number()这三个有什么区别？ hive里面数据表合并是怎么合并的？ ​hive里面的列

一面（11/3） 自我介绍 拷打项目 然后问了一个Flink反压的问题 二面（11/10） 自我介绍 拷打项目 问了前端展示大量数据，如何考虑？（可能大佬就是前端的） 问了用了哪些数据库？ 问了Kafka 和 Flume 的应用场景？ （可能时间比较紧张，所以问的比较急，二面没有遇到反问环节了）

项目 介绍网页音视频项目 项目代码量多少？是一个人完成的吗？ 介绍SaaS视频项目 Spring Spring框架有什么特性？(❌不知道这个问题要问什么，答的扩展性、封装性啥的) 控制反转了解吗？原理呢？(❌简单说了下，原理不知道) AOP了解吗?项目用过吗？(❌简单说了下，项目里没用过) Java 线程池的七个参数？ 拒绝策略有哪些？(❌漏了一个静默丢弃) 阻塞队列的长度怎么设置？(❌不会) J

春招攒攒人品！！ 无笔试。 ****上投的，hr问我更想去硬件还是项目管理，我说项目管理。 项目管理，一面，大概40min。 深挖简历，问个人经历，为什么选择这个岗位。 反问。 第三天接到hr电话说不合适把我转到测开了。 测开，一面，大概也40min。 还是深挖简历，反问。 两个面试整体感觉都很轻松，面试官人也很好，不明白为什么没过，问hr也说是不清楚，面试只有我和面试官。 都会问期望薪资。 拜托

我们有一个将文件复制到Azure文件服务器的外部源。文件大小约为10GB。我想在Azure文件服务器上使用Azure Data Factory完成文件复制后，立即将此文件复制到Azure Blob存储。供应商无法将此文件复制到Blob容器。有人能帮我配置什么类型的触发器吗。我可以手动复制，但我正在寻找是否可以实现自动化。我甚至不能安排这个活动，因为来自外部源的文件副本是随机的。 谢谢