《大数据开发面经》专题

背景：双211，研究方向：计算机视觉（遥感变化检测） 一志愿：AI算法（应该是挂了一志愿） 二志愿：数分 10.26上午 腾讯会议视频面试 1个hr/3个面试官 1.自我介绍 2.有没有实习？ 3.介绍一个项目所做的工作 4.技术栈：会什么编程语言，数据处理都是自己用python写的方法吗？有没有使用过什么大型数据处理软件或许使用过哪些python数据分析库 ？ 5.了不了解结构化数据，大数据？（

Kubernetes community中已经有了一个Big data SIG，大家可以通过这个SIG了解kubernetes结合大数据的应用。 在Swarm、Mesos、kubernetes这三种流行的容器编排调度架构中，Mesos对于大数据应用支持是最好的，spark原生就是运行在mesos上的，当然也可以容器化运行在kubernetes上。当前在kubernetes上运行大数据应用主要是sp

1、数据仓库分层了解吗，实时离线都怎么做的？ 2、Spark有哪些分区器？ 3、宽窄依赖的定义？发生宽窄依赖转换的时候会发生什么操作？ 4、shuffle操作增加了什么开销？底层用的什么算法？ 5、Spark内存模型有了解过吗？ 6、如何解决数据倾斜问题？ 7、Flink了解吗？checkpoint机制做什么用的？底层怎么实现的？ 8、Spark没有checkpoint机制，那么中间计算结果怎么保

1101 - 技术面 自我介绍 实习经历 K8S： K8S 和 Spring Cloud 了解 如何基于 K8S 部署服务 K8S 部署服务的流程 基于 Spring 开发过的个人项目，是课程吗 对巨杉了解 算法 1103 - HR 面 自我介绍 校园经历 实习经历 Offer： 手头 Offer 及薪资待遇，偏向程度 期望薪资 相同薪资的 Offer 如何选择 个人优势 反问 #面经##校招##

系统组 1.自我介绍 2.实习拷打 3.项目拷打 4.spark任务提交过程 5.sparkrdd运行过程shuffle阶段拆分 6.hdfs上文件存储方式 7.hdfs写数据流程 8.算法：判断链表是否有环 9.反问 23大概40min 4567 10min 8 5min

笔试过了一个月给捞起来了 一面 45min 1. 自我介绍 2. 细聊项目，很细（一上来就忘了数据量，尴尬） 3. 特征工程怎么做的 4. iv值的计算方法 5. AUC的计算方法 6. 正反例不平衡对auc有影响吗 7. 知道过拟合吗 8. 逻辑回归怎么解决过拟合问题 9. 写个函数指针 10. pandas库有哪些数据类型 11. 怎么取两个dataframe有差异的部分（忘了具体函数了，讲了

面试问题： 1. 从8个外观相同的球里找出质量不相等的球。器材：一个没有砝码的天平；要求：几次称重后肯定能找出来。 2. 在离散的二维平面图形中，面域由三角形组成，用数组存储每个三角形的顶点，如何找出处于边界上的边； 3. 智能指针的作用和原理；

面试官全程微笑，体验感极好。 上来大佬先来了个礼貌式微笑。 然后自我介绍。问了问我的研究方向（多模态） 聊了聊大数据相关的技术？ 如果来大数据部门想做什么？ 问了一下我做的数据挖掘的比赛？ 然后30min一道题。 二叉树的z字遍历和阻塞队列二选一 问了一下时间复杂度和空间复杂度。 反问环节： 部门培养人的计划是什么？ 您是做什么的？ 整体感觉很流畅，体验很好，期待过 ps：滴滴23秋储 一共几面？

时间：10月 2技术面+hr面 已OC 一面 20min 自我介绍 重点聊聊你专业方面的一些积累、基础知识，项目经历、角色、贡献 主要讲安卓 说到Intent传Bitmap的问题 你用了全局变量 是不是得特别关注销毁和管理 管理周期（？有点怪） 假如说要查询数据库某一天的数据 一般我们数据精确到秒/毫秒级别的时间戳 这种时间格式怎么进行筛选 怎么去比较（说了from_unixtime和dateti

base北京 望京，有点心动，技术栈主要还是java开发，需要使用向量数据库 面试官人很好 一面(45min) 之前用过字节的扣子平台吗(当然用过) 之前实习工作的主要内容 了解向量数据库吗，我回答完全不了解，他直接发了milvus官网的官方Quick Start指南，让我看几分钟，看完之后问了我向量数据库的基本用法包括如何查询，插入等操作，还有向量数据库索引的概念等(回答的七七八八) 后面直接问

一、安装 Maven Maven是一个项目构建和管理的工具，提供了帮助管理 构建、文档、报告、依赖、scms、发布、分发的方法。可以方便的编译代码、进行依赖管理、管理二进制库等等。 Maven的好处在于可以将项目过程规范化、自动化、高效化以及强大的可扩展，利用 Maven自身及其插件还可以获得代码检查报告、单元测试覆盖率、实现持续集成等等。 1. 下载 Maven http://maven.apa

面试内容分为以下几个部分（时长：一小时 5分钟）： 1.自我介绍。 2.出了一道算法题，将二叉树搜索树转换为双向链表，不新建链表结构，链表结构使用树节点的结构，左孩子代表前节点，右孩子代表后继节点。要求是在不新建节点的情况下实现转换。使用中序遍历解答了。 3.做完算法题目之后出了一道 SQL 题，为薪资表格中获奖人员的薪水字段加 10% 的工资，获奖人员由获奖表格可以查询得到。当时有点理解错误了，

如 动态 Inventory 所介绍,ansible可以从一个动态的数据源获取到inventory信息,包含云端数据源 怎么写一个自己的数据源? 很简单！我们仅仅需要创建一个在适当参数下,能够返回正确JSON格式数据的脚本或者程序,你可以使用任何语言来实现. 脚本规范 当我们在外部使用``–list``参数调用这个脚本时,这个脚本必须返回一个JSON散列/字典,它包含所管理的所有组.每个组的val

说明：数据上报到平台后，Hubble平台的分析模块大约需要30分钟能查到数据，若该事件是首次发送可能时间会久些。 1.1. 客户端调试 Android sdk v2.1.7.5 以及之后版本 v2.1.7.5 以及之后版本无需配置，默认即开启，建议更新到最新版本。 v2.1.7.5之前版本 v2.1.7.5之前版本已不支持远程调试，本地调试请查看Android sdk开发文档（控制台日志输出）。

题型：10道单项、5道不定项、2道算法、1道SQL，难度还可以 单项题 1. 哪个程序通常与NameNode在一个节点启动？Jobtracker 2. HIVE的建表描述，错误的是：STORED AS 指定存储路径 正确应该是指定表的格式 3. 维度建模中雪花模型和星型模型的描述不正确的是：星型模型是多个事实表和多个维度表组成 正确应该是 1个事实表和多个维度表组成 4. hive中用get_js