115、Spark的任务执行流程 driver和executor,结构式一主多从模式,driver:spark的驱动节点,用于执行spark任务中的main方法,负责实际代码的执行工作;主要负责:将代码逻辑转换为任务、在executor之间调度任务、跟踪executor的执行情况。 Executor:spark的执行节点,是jvm的一个进程,负责在spark作业中运行具体的任务,任务之间相互独立,
继续更新团子的二面面经,团子的数据开发实习。 二面 4.26 自我介绍 你是怎么了解到这个岗位的 你是怎么学习大数据的 说说你学习到的框架 有阅读过相关的书吗 讲讲看的书的内容 讲讲你实习的工作内容 上段实习最困难的事情 说说kafka怎么保证数据唯一传输的 说说你数仓项目里用到的框架,都怎么用的 说说你对维度模型的理解 说说你数仓项目里最难解决的,怎么解决的 两道Sql编写 你写的第一道sql可
从事数据开发,手写面试题5W字,涉及hadoop、zookeeper、kafka、spark、flink、clickhouse等常见的大数据中间件,文档可以后台踢我 1、Hadoop特点hadoop是一个分布式计算平台,能够允许使用编程模型在集群上对大型数据集进行分布式处理hadoop的三大组件:HDFS(分布式文件存储平台)、MR(计算引擎)、YARN(资源调度平台)特点:高扩容:hadoop在
一面: 面试时间:2024.07.03,共计80分钟 全程项目经历,在工作中做的事情。 按着简历上写的"工作内容",一条一条的问。 问题 自我介绍 后面打算是在上海 or 北京 or 其他地方? 之前工作离职了吗? 介绍之前工作中参与的项目? - 自己承担了哪些工作? - 在承担的工作中,哪些是挑战 or 难点 or 亮点的工作、怎么解决的? 数据开发工作流程? - 一个需求流程走完,大概需要多久
数据业务岗位,接到第一个offer,估计也是最后一个,其他还在流程的最多二面完,还有一个广东电力民企也比较有希望,但不打算面了,接这个了——新奥新智 打算写一个6个月来的面试感受,不算正经面经,包含一些数据业务岗位的面试择业经验。 bg:本科c9,研究生双非(当年就是菜,图个研究生上) 商科,两段北京中厂实习,都是数据分析,一段杭州独角兽实习,电商平台运营,项目只有一个机器学习比赛,没有涉及深度学
1.自我介绍 2.tcp三次握手四次挥手 3.为什么要四次挥手,实践中能不能优化 4.httpcode 5.503和504区别 6.进程间同步方式有哪些 7.这个消息队列是什么东西,是类似kafka吗,还是啥,详细展开讲讲 8.僵尸进程是什么东西,一般生产环境怎么解决 9.mysql事务的特性 10.mysqlredolog和binlog区别 11.mysql有哪些锁 12.mysql事务隔离级别
7.15一面: 1.自我介绍 2.项目深挖(聊了很久) 3.对数仓的看法 4.主题域及其建设过程(要落地,谈业务过程) 5.讲一个熟悉的指标体系构建(没做过) 6.为什么不考研 7.为什么想跳槽 8.sql留存率(讲了下思路就行了) 反问: 1.为啥晚上6点还面试,唯品会不是955吗 2.唯品会的计算引擎选型是什么 ------------------------- 挂了
#百度#面试官很好,总体感觉问的比较简单,但是好久不看八股感觉很多都忘记...理解还是比较浅层,一些实战方面的内容还比较欠缺...要努力了!!!
京东零售,从后端调剂到大数据,hr之前说的不会问大数据,也确实没问,但是不妨碍我拉了一泡大的 1.自我介绍 2.写题-搜索螺旋排序数组(两个月没写过lc了,大汗淋漓,之后还是没写出来) 3.常见的排序算法,时间复杂度,空间复杂度 4.synchronized关键字的使用 5.volatile关键字,和synchronized的区别 6.Java的内存回收怎么做的 7.hashmap和treemap
7.11一面: 1.自我介绍 2.拷打项目,项目遇到的难点,怎么解决的。 3.数据倾斜 4.数仓分层怎么做的以及作用 5.对数仓的看法 6.小文件的危害 7.介绍一下yarn 8.java三大特性 7.12二面: 1.自我介绍 2.拷打项目 3.拷打论文 4.实习遇到的难点,怎么解决的 5.一道简单sql 6.能实习多久
1.自我介绍 2.你的优势是什么 3.对数仓怎么看 4.sql,有id,score。怎么实现按score排序并且要排名,不能使用开窗函数。
1.益智题:2 4 7 12 19 后面的数 2.十二个硬币有一个假硬币,三次机会用天平辨别出假硬币 3.加班情况,能否接受加班,没有加班费怎么办 4.你和24届对比的优势在哪里 5.有没有处理过大数据 6.你的缺点是什么 7.如何应对工作中要处理复杂琐碎的数据 8.当工作没有办法实现时,且隔天领导就需要,如何应对 公司给人感觉很压抑,每个人都是绷着脸做事情,面试官凶巴巴的,做梦梦到他的脸都会被吓
中移金科 15min 3分钟自我介绍 问了python数据处理和sql,算法 比较简单
马上入职一个月了 记录一下面经~ 一面:(50min) 1.自我介绍 2.介绍实习项目 3.实习过程中遇到了问题是怎么排查的? 4.介绍一下你自己写的项目 5.讲一下java内存模型 6.scala和java有什么区别?说一下你的理解 7.手撕代码:两道sql,一个算法,算法是反转链表 8.你对数据仓库了解多少?对大数据了解多少? 反问: 1.评价 2.部门技术栈 #美团##美团25届转正实习##
时间:一个小时 数据采集通道的搭建要用到什么能力 离线数仓项目几个人,后端做啥 datax和sqoop的区别(应用场景上的区别) maxwell的底层原理是啥 怎么理解mysql的主库和从库 主从延迟比较严重对数据的影响 数据量级,条数 在日志采集项目中有什么收获 这块是新开发的还是迭代的 现在数据采集已经封装很成熟了,那做数据采集对后面数仓开发有什么优势吗 hive中内部表和外部表怎么转换 多张