《大数据开发工程师》专题

问题内容： 在我的开发环境中，我有两个服务器。一个通过http请求将图像发送给另一个。 客户端服务器执行以下操作： 收到请求的服务器执行以下操作： 如果我发送小图像，则效果很好。但是，如果我发送了较大的图像，尽管文件保存正确，则仅显示图像的第一上部。其余为黑色。图像尺寸正确。 我想这只是文件中写入的图像的第一块。我尝试创建一个和一个，但似乎不起作用： 我可以直接从二进制数据流传输到文件吗？对于我所

了解哪些大数据组件 Shuffle 的作用是什么 Shuffle 中合并的操作有什么用/好处 MapReduce 中出现数据倾斜怎么处理 Yarn 有哪几个比较重要的进程 ResourceManager 主要的作用 ApplicationMaster 主要的作用 任务的监控在哪个进程 ZooKeeper leader选举机制 ZooKeeper 读写一致性具体体现在哪些地方 Spark 宽窄依赖

### 一面 自我介绍+实习经历 (31608)### 二面 1. 自我介绍 2. 实习经历，我说了JVM的重用 3. JVM重用的底层原理 4. sql输出排名前七的学生 5. hive处理小文件的方式 6. hive组件，原理 7. hiveSQL转化为mapreduce的执行过程 8. hive执行过程中的优化 9. 为什么使用环形缓冲区 10. HDFS组件 11. secondnamen

在学习熊猫的过程中，我已经尝试了好几个月来找出这个问题的答案。我在日常工作中使用SAS，这是非常好的，因为它提供了非核心支持。然而，SAS作为一个软件是可怕的，原因还有很多。 有一天，我希望用python和熊猫取代SAS，但我目前缺乏大型数据集的核心外工作流。我说的不是需要分布式网络的“大数据”，而是文件太大，无法放入内存，但又小到足以放入硬盘。 我的第一个想法是使用在磁盘上保存大型数据集，只将我

一、本功能说明 对全站数据进行导出备份或者将备份的数据库恢复 注意事项：   备份数据请确保根目录的caches文件夹具有写入权限。 二、子功能导航 1.数据备份 2.数据还原 3.数据修复 三、功能详解 1.数据备份 1).如何进入本功能 导航栏 选择扩展 -> 菜单栏 选择 数据库工具 2).界面解释 点击后显示如下界面 界面详述 1). 分卷大小： 您可以自行定义单个数据包文件的大小，不建议

我在我的一个项目中使用Netty。有一个流程，我必须从其他线程（其他netty的工作线程）向客户端发送一些数据： 此外，我正在等待客户端接收到我的有效负载后的响应。我也将超时与它相关联，因此每当客户端在时间范围内没有回复时，我都会关闭来自服务器的上下文（假设连接错误）。 发生了一些奇怪的事情。每当我将有效负载发送给客户机时，我都不会在日志中打印它 但是，由于超时，它是在我关闭连接之前打印的。我不确

主要内容：1.大数据生态技术,2.数据存储,3.数据存储的发展,4.数据存储的方式1.大数据生态技术 数据存储处理: 清洗, 关联, 规范化, 组织建模, 通过数据质量的检测, 数据分析然后提供相应的数据服务 离线数仓: 实时数仓: 以Kafka, cancal/Maxwell/FlinkCdc为区分, 离线数仓为Hive, Sqoop 实时数仓:分层: Ods, Dwd, Dim, Dwm, Dws, Ads 离线数仓分层: Ods. Dwd, Dws, Dwt, Ads 实

1、自我介绍 （balabala讲了一堆自己的项目，面试官没有任何兴趣，还没介绍完，直接反问我知道自己报的哪个岗位吗？） 此时人已经麻了，看来面试官认为岗位不符合。。。 2、解释了一下属于技术面，说后面的项目细节会由后面的面试官考察 3、解释了一下这个岗位是主要做图像预处理的，有做过图像预处理？简单说一下 4、说一下你二值化的方法 用的OTSU 5、说一下原理 （尬住了不会） 6、哦只是调库使用了

岗位：测试开发工程师 部门：无人机业务部-硬件研发 一面时间：2024/09/03 面经：https://www.nowcoder.com/discuss/660462285978189824 面试时间：2024/09/10 18:00 时长：40min（差点耽误了教师节聚餐） 自我介绍； 问机器人项目背景，细节，个人负责任务； 视觉识别深挖细节； 图神经网络细节； 机械臂抓取网络细节； 二指夹爪

本文向大家介绍分享15款Java程序员必备的开发工具，包括了分享15款Java程序员必备的开发工具的使用技巧和注意事项，需要的朋友参考一下 如果你是一名Web开发人员，那么用膝盖想也知道你的职业生涯大部分将使用Java而度过。这是一款商业级的编程语言，我们没有办法不接触它。 对于Java，有两种截然不同的观点：一种认为Java是最简单功能最强大的编程语言之一，另一种则表示这种编程语言既难用又复杂。

Gradle工具API(参见Chapter.65.Embedding Gradle),用于IDEs和其他工具整合Gradle,总是使用Gradle守护进程执行构建.如果你是从IDE内部执行构建,那么你是在使用守护进程,而且不需要在你的环境中允许Gradle守护进程. 但是，除非您已明确启用的Gradle守护进程在你的环境的,你在命令行中的构建不会使用摇篮守护进程。

总评：oppo整体面试难度不是很大，一面主要是简历深耕，二面会问一些更加综合的题目，包括与业务方合作机制等，二面的面试难度更大一些； 面试官态度很友好，期间我语音坏了，然后僵持了几分钟，后来通过电话联系面试官进行面试，整个过程没有任何的不耐烦，还鼓励我不要因为这个影响面试，十分感动了！ 一面简历深耕：     1. 哪段实习收获最大？    （回答哪一段都行其实，重点是考察面试者复盘能力，以及实践

面试时间：30min 自我介绍 这个岗位主要是数据库运维，介绍一下你对数据库运维的理解？ 是怎么了解这些知识的？从本科到研究生是怎么学习的？ Linux shell 熟悉不？介绍一些命令 介绍一下MySQL？ MySQL调优工具？生成执行计划？执行计划怎么看？说一下你是怎么进行调优的？ 索引优化有那些？ MySQL主从复制了解过吗？ InnoDB的索引结构？介绍一下B树和B+树的区别？ InnoD

两个面试官加反问19分钟左右 自我介绍 springboot的设计模式 Mybatis的Mapper中的方法能不能重载？为什么？  （答错了）   原因见链接 Mybatis分页的原理     https://www.exception.site/java-interview/how-can-mybatis-paging 为什么说Mybatis是半自动ORM映射工具？它与全自动的区别在哪里？ 常用

绿盟科技一面(22min) 一、自我介绍 二、项目拷打（12min） 三、八股文 1.用过的树，在哪用过，说一下红黑树 2.希尔排序介绍 3.gdb调试，core dump文件 4.TCP，UDP，TCP拥塞算法 5.https加密过程 四、反问