《大数据开发面经》专题

#软件开发笔面经#

ORC 和 Parquet 文件格式的优劣势和区别？ ORC（Optimized Row Columnar）和Parquet都是列式存储格式，它们在大数据处理领域，特别是在Hadoop和Spark生态系统中，被广泛使用。以下是ORC和Parquet的主要优劣势及其之间的区别： 设计背景： ORC：主要为Hadoop生态系统中的Hive而设计。 Parquet：是由Apache Arrow项目的一部

春招没投百度，不知道为什么约面 自我介绍 实习，项目 实习的工作内容和产出 软硬件测试的最大区别 一次完整的http请求 页面打不开的原因，如何排查 什么是索引 索引建立的原则有哪些 知道哪些测试方法 SQL手撕，找出各部门中年龄最大的员工 知道哪些Linux命令，如何查看内存使用情况 地图打车测试用例 手撕 1-10无序数组，有一个元素被置为-1，返回该元素的值和下标，然后针对代码写用例，执行用

一面 - 介绍下项目 - 项目中对慢sql的定义 - Java中的浅拷贝和深拷贝（不会） - Java中==和equals的区别 - 某个端口被进程占用了，用什么命令查询到占用端口的进程 - idea做两道算法题

介绍最拿手的项目，我讲的实习 计网一些八股 最长不重复子串，秒了 以为轻松过了，结果没消息了？

自我介绍 成绩 聚簇索引和非聚簇索引 b+树说一下，是不是平衡树，怎么实现平衡的 什么是事务，事务的特性 回表 读写锁 mvcc undolog,redolog 创建线程的方式 java中多线程并发怎么处理 问项目经历，一个图像识别的毕业设计，一个web项目，有什么突出的 mybatis怎么实现数据库映射的，怎么配置 自己的优缺点 说7天出结果

一面 代码题： 单例 懒汉式线程安全 司机和乘客配对，我用的回溯。 线程的同步和异步 条件变量的作用 线程池如何监控状态 线程池扩容的策略（如果突然新来很多任务） IO多路复用 epoll 协程了解吗 四次挥手 time_wait状态，持续多久 如果大量TCP连接处于time_wait状态的影响，怎么处理 Redis分布式锁 分布式锁因为删锁而产生的问题 二面 有一辆车，要去接N个乘客，车的容量大

招银问的感觉不咋难 可能银行都这样咩 一面： 项目相关介绍一下 内存管理 内存泄漏怎样应对 map和set 迭代器作用 迭代器和指针的区别 智能指针 析构函数作用 虚函数和静态函数 虚表 osi七层网络模型，每层有的协议 http和https的区别 ssl四次挥手 二叉树应用场景 底层结构 数据库 了解的设计模式 手撕一个设计模式 二面： 记不大清了 问了具体项目的一些技术 问了c++文件编译过程

2022.9.8  差不多一个小时   自我介绍 Netty的IO Netty的测试 不用测试 redis集群分片数据 哈希槽 redis的热key，大key怎么存放 监控 key的存放方式 用什么数据结构 kryo序列化方式 接触过什么测试框架 我更适合去开发（第三个人这样讲了） 部门主要是测试，不想要我了 #达达集团##测开#

主要还是闲聊居多，差不多一个小时把 自我介绍 为什么来测试 问项目 ES Redis 最基本的测试流程 希望测试和开发占多少 #达达集团#

问题内容： 在我的代码中，用户可以上传一个excel文档，希望其中包含电话联系人列表。作为开发人员，我应阅读excel文件，将其转换为dataTable并将其插入数据库。问题是某些客户拥有大量的联系人，例如说5000个和更多的联系人，而当我尝试将这种数据量插入数据库时​​，它崩溃了，并给了我一个超时异常。避免这种异常的最佳方法是什么？它们的任何代码都可以减少insert语句的时间，从而使用户不必等

问题内容： 我想知道是否有人对我即将从事的工作有任何经验。我有几个csv文件，它们的大小都在一个GB左右，我需要将它们加载到oracle数据库中。虽然加载后我的大部分工作都是只读的，但我仍需要不时加载更新。基本上，我只需要一个很好的工具即可一次将多行数据加载到数据库中。 到目前为止，这是我发现的内容： 我可以使用SQL Loader来完成很多工作 我可以使用批量插入命令 某种批量插入。 以某种方式

9.4 一面 1. 介绍实习经历 2. 数据同步 3. 指标分层 4. flink：状态，历史数据回溯、一致性保障、barrier下发、开始做ck的时间点、反压、下游怎么知道上游反压了、解决 5. hbase问题：架构、数据读写、底层文件存储、region划分、regionserver划分（这是啥） 6. jvm内存管理，多线程 7. spark问题：宽窄依赖，算子，shuffle，调优 8. 数

1h10 min 面试官是个大佬，全程面试偏场景题 八股：数仓建模，分层，每层作用，数据倾斜（group by，join）很细，小文件 场景题： 快手在某一时刻某主播开播时流量巨大，然后同一时间段还有多个主播开播 有一些些主播可能粉丝少，但因为在搞活动，把在线列表和主播表join时会发生数据倾斜，这怎么解决 雪花模型用过吗？（用过）讲一个使用雪花模型的场景（多值维度？）面试官说不对。然后只能说没用

9.5 投递     9.21 笔试     10.13 一面 一面 1.ArrayList和LinkedList的区别？分别应用于哪些场景？ArrayList扩容机制 2.JVM内存区域  3.Java的引用有哪些（强软弱虚） 4.垃圾回收机制，如果出现FullGC的情况，需要调整JVM,如何调整 5.线程的创建方式 6.线程池的创建方式？使用过程中有遇到什么问题？ 7.有了解池化技术嘛？ 8.