《大数据开发面经》专题

1、介绍课题项目，主要考察解决问题能力和创造力，面试官不懂，就是考察能力 2、一段数字信号处理实习，主要还是问我的编程能力 3、python掌握能力，线程和进程的区别；浅拷贝，深拷贝，手机内存128G+8G分别是什么意思，软件的操作系统，计算机相关的知识有没有 3、五年职业规划，我说我想做硬件的，问我为什么不投递互联网，我说我想做制造类企业的，这不是主打一个不匹配了 大疆我是真的属于最后快结束投递

问题内容： 我正在通过ajax将Image base64数据传递给我的php函数，但是对于大尺寸图像，Ajax不会发布数据。但是，相同的代码对于小图像非常适用。 数据太大，因此部分发布了， ajax PHP 当我尝试获取php中的发布数据时，我越来越空了。使用base64时，ajax不发送数据的原因可能是什么？ 问题答案： 我同意TrueBlueAussie的观点。这看起来像PHP中的服务器端设置

时隔1年，甚是感慨，没想到这么快又来面试了。 一面（30分钟）2023.07.10 自我介绍 能简单说一下用了哪些设计模式 能简单描述一下策略模式吗？策略模式和if-else有什么区别，怎么定义策略类的 Linux在一个目录下面，有100个文件，需要匹配以 ‘query’ 开头的日志，并且把数量统计一下，用什么命令 （grep -c '^query' /path/to/directory/*） J

顺丰-大数据挖掘与分析（2021秋招） 顺丰一面： 1.深挖实习，指标体系如何建立，各项指标的权重如何确定 2.逻辑回归算法的原理 3.谈谈对ABtest的认识 4.sql排序窗口函数的区别 顺丰二面： 1.深挖实习，预测为什么选用随机森林算法，如何调参 2.论文项目，简单介绍 3.了解哪些机器学习算法 4.反问 顺丰hr面 1.实习中遇到的困难，如何解决 2.过往经历中，你认为最困难的问题，你是

二面 1、为什么用seatunnel进行同步，不用dataX？ 2、seatunnel底层引擎是spark，那为什么不直接用原生的spark进行同步呢？ 3、项目有什么做的不够好的？ ODPS相当于hive，多进程写入会产生表锁，没法利用spark的并发优势——1.统一管理ODPS表，每个分区写入一张表，读取的时候直接读取表，然后每天定时进行聚合。这个过程对于用户来说是无感的。2.分布式锁，阻塞的

二面40分钟左右结束，没问项目 问对kafka、数仓分层理解 在学校干啥了，学习大数据的途径方式 然后就是两个类似场景题目，讲思路不用写代码 一个是大数据单机处理:对10Tb数据全局排序 一个是判断链表相交 第 一个回答的💩一样，第二个还好 第二天收到感谢信😭 #面试# #大数据# #字节#

1.Spark执行流程 2.HDFS的读写流程 3.HDFS在读流程中最适合的副本是哪个 4.对数仓的理解 5.数仓分层的作用 6.说一个你觉得有挑战性或者复杂性的数据倾斜的例子 7.选一个项目拷打 反问 整体33mins左右

春招流程：网申---->测评--->初面---->复面----->发offer 网申：除了正常的个人信息外还需要写点小作文夸夸泸州老窖，然后写为什么要选择泸州老窖什么的，总体来说网申淘汰率不高 测评：前一天刚网申，第二天就发了测评链接，题目主要是一些申论形策+智力题+性格测试题，难度不高，好好写问题应该也不大 初面：测评完当天晚上就给我发了初面短信，先测试设备，然后发正式初面的腾讯会议的链接和会议

群面（轮流技术面，还好） （4候选者+1hr+1负责人+2技术面试官） 1.自我介绍 2.问测试项目（好久没看了，记不清。。。） 3.输入网址到出现页面的过程？ 4.DNS 6.什么是合理的测试用例？ 7.为什么想要做测试？未来的职业规划？ #秋招##测试#

介绍下MapReduce ● 1.1 MapReduce定义 ○ MapReduce 是一个分布式运算程序的编程框架，是用户开发“基于 Hadoop 的数据分析应用”的核心框架。 ○ MapReduce 核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并行运行在一个 Hadoop 集群上。 MapReduce优缺点 ● 1.2 MapReduce优缺点 ○ 1.2.

介绍下YARN ● Yarn 是一个资源调度平台，负责为运算程序提供服务器运算资源，相当于一个分布式的操作系统平台，而 MapReduce 等运算程序则相当于运行于操作系统之上的应用程序。 YARN有几个模块 ● Yarn架构 ○ ResourceManager（RM）： ○ NodeManager（NM）： ○ ApplicationMaster（AM）： ○ Container： YARN工作

1.mapreduce的shuffle过程。 2.海量节点的情况下，NameNode如何扩展用多台NameNode保存元数据。 3.多个NameNode，其中一个NameNode挂了，其它NameNode如何上线。 4.海量的（userid,pageid）二元组数据，内存小的情况，用java或者sql计算每个pageid的userid top10的方法？ Java：数据切块并按pageid分区，每

1小时，全程 LSM tree 深挖 LSM-tree 存储引擎和 Raft 的关系 LSM-tree 原理和特点 为什么要追加写 LSM-tree 的工业实现 LSM-tree 的合并方式（合并超出阈值的部分还是全部？优缺点 Bloom filter 的实现 Bloom filter 如何持久化 缓存的索引怎么做缓存淘汰 缓存的索引一个 SSTable 对应一个 map 和用一个全局 map 的

1.自我介绍 2.对于岗位理解 3.对于大数据经典组件的简要介绍 4.spark出现明显解决hadoop什么问题 5.sparkrdd的内存管理机制 6.spark提交任务后集群的内存管理机制 7.实习工作介绍 8.谈论对于优化的理解 9.评价方法论，衡量优化工作的指标 10.对于最左匹配原则的理解 11.为什么联合索引的后面字段不走联合索引 12.sql，直播间峰值问题，说了开窗函数排序的思路，

自我介绍 数据结构 数组和链表的区别 java中哪里用到了这两个数据结构 栈和队列的区别 网页的前进和后退都是使用哪个数据结构 arraylist和linkedlist的区别 看过哪些书 mysql的索引 b树和b+树的区别，b+树的优点 如果使用mysql存1000w行数据，设计方案 如果设置索引，那么存储索引也会占用很大的空间，怎么解决 数仓的项目，怎么分层的 为什么要分层 每层干了什么事 反