《数据研发工程师》专题

4/22 一面 4/26 二面 5/ 1 offer emm，昨天加hr微信，没加我，但今天51居然发了offer，可能他工作日忘记发offer了吧..

自我介绍：是怎样的人，有怎样优势，做怎样改进 岗位是否匹配预期 介绍工作内容 业务方沟通需求 整理数据，提出数据，可视化 提供给业务方 能力：沟通，数据分层实践 数仓了解多少 机器学习拷打 SQL考察 思维题 什么是数据分析 面试官简述数据分析理解 反问

1.自我介绍 2.jvm的gc全流程，为什么要分这么多区，标记整理等算法对于gc的优缺点，遇到过哪些gc的实际例子，怎么定位这样的问题 3.同一个进程中有三个线程，一个线程发生了内存溢出，另外两个会怎么样，为什么 4.线程共享数据怎么实现的，一致性怎么保证 5.手撕：判断完全二叉树，反转链表 6.sql：窗口函数 7.hdfs架构，读写数据流程，datanode在写数据的时候挂了怎么办 8.小文件

1.自我介绍 2.实习最大收获 3.odps平台的性能调优与spark的性能调优的共同点和差异点 5.spark的countdistinct算子优化 6.bitmap作用在expload的作用是什么？ 7.小文件过多的影响 8.sql countdistinct优化代码手写 9.反问 #大数据开发##数据人的面试交流地#

场景题：上游订单数据有问题，时间也是错误的，你怎么从 ODS 中找到这张订单表的位置？（不会） 第一种思路：全表扫描 第二种思路：做一张表，对表id进行hash，表中存储该表id对应的分区 DWS 层能不能没有（答：模型设计中我们一般要做到公共处理逻辑的下沉和单一，所以一般我们会把汇总逻辑放到DWS层，不把它暴露到APP层去实现，所以一般总会设计DWS层的） FlinkCDC MySQL 连接器的

1.自我介绍 2.对公司有没有了解 3.inner join的底层实现，有哪些算法 4.两个数组，数组的大小都在数千万级以上，但是值域是在一千万以内，找到两个数组相同的元素（说了bitmap） 换了部门负责人来面试 5.有了解过数仓整体的架构吗（面试官说现在是存算分离，实时和离线一体） 6.有写过UDF吗，当时的场景是什么样的 7.假设现在用的是yarn，pyspark从提交文件到让代码分布到各个

#软件开发2024笔面经# 阿里云数据开发岗位面试公司名称:阿里云 面试岗位:大数据开发 整个是大数据开发，我以为是数仓开发，结果问的全是Spark问题，被搞自闭了。1，自我介绍 2，park中RDD的Task数量由什么决定?3，Spark怎么实现算子中的变量共享?4，Spark共享变量的使用条件? 5，可序列化?连接池实例是在算子内还是在算子外? 我一开始没想好，先回答了连接池的作业:是为了连接

一面——60mins 自我介绍 拉链表的制作，数据量有多少，为什么不用快照表呢 项目有哪些表 数仓分层有哪些，具体做了什么，数仓分层作用 怎么设计表，怎么建模，DIM DWD层的主题分了哪些 如何做的可视化 什么是数据倾斜，数据倾斜的解决方案 Hadoop和spark的区别 Spark的shuffle流程是怎么样的 对哪些数据库了解 Shuffle有哪几种类型 在shuffle的过程中会进行排序吗

官网投递完成测评后一周收到了一面通知，没有笔试，准备了半天的八股最后完全没有用到，有两个面试官，一个面试官介绍了一下自己的部门，问了一些技术不相关的问题，一个面试官问了一下项目，也没有多问，整体下来不到三十分钟。当天收到了 hr 面试邮件，感觉好像 kpi 啊啊啊啊啊😰😰😰 补一个后续7.9 周日正在床上摸鱼，收到了录用函，本菜鸟也终于有offer啦！ 感谢东子，我爱东子！！！

一个小姐姐打电话告诉我会议号的。 进去之后，先自我介绍，然后让我讲项目。 hdfs的读写机制 雪花模型星型模型的区别和适用场景 小文件的弊端 又在问项目 20分钟结束了，反问环节都没有。。。

一面：(1h) 1.自我介绍 2.选一个熟悉的项目介绍一下吧 3.看你简历上写了进行过数仓的搭建，那你说一下数仓分几层合适？ 4.每一层干了那些事儿？ 5.你说一下数仓为何要进行分层？ 6.数仓的建模方法知道吗？ 7.指标分类有哪些？（回答的是原子指标，派生指标，衍生指标） 8.你的ods层为何选择gzip压缩呢？ 9.除了gzip压缩还有哪些压缩方法？介绍他们的区别？10.项目中你的hive表使

5.19 一面 5.22 2面 刚面完 不知道是不是kpi面 二面hr说一周内给结果 问他我表现的怎么样，他说他具体也不清楚，后面还有几个同学等他继续面试，感觉凉凉。。。。 一面： 自我介绍 介绍自己的两篇专利 机器学习有哪些（因本人论文用的深度强化学习） 大模型有了解吗 chatgpt理解，会根据你的理解展开问问题 python中 pyc这些有了解吗 c++中什么情况下会导致空指针异常，如何解决

问题内容： 我正在使用Heroku托管一个简单的Ruby on Rails测试应用程序，以了解如何使用Redis。我正在使用RedisCloud作为我的Redis服务提供商。在本地，我可以使用Redis CLI检查Redis数据库，但是如何检查Heroku应用程序正在使用的RedisCloud DB中的数据？ RedisCloud提供了一个显示状态的仪表板，但不显示实际数据。另外，我尝试使用Red

本文向大家介绍iOS开发中使用FMDB来使程序连接SQLite数据库，包括了iOS开发中使用FMDB来使程序连接SQLite数据库的使用技巧和注意事项，需要的朋友参考一下 一、简单说明 1.什么是FMDB FMDB是iOS平台的SQLite数据库框架 FMDB以OC的方式封装了SQLite的C语言API 2.FMDB的优点 使用起来更加面向对象，省去了很多麻烦、冗余的C语言代码 对比苹果自带的Co

我创建了一个触发器，其工作原理如下： 从表中删除数据后它将此行插入位于另一个数据库存档中的表中 我使用dblink在远程数据库中插入数据，问题是创建查询太难了，尤其是表包含20列以上，我想为10个其他表创建类似的函数。 有没有其他快速的方法来确保这项任务？ 这里有一个很好的例子：