《大数据研发实习》专题

null 由于oracle clob字段可以包含4GB(max)的数据，是否有使用SQLPlus获得完整数据块的正确方法？我可以把它作为文件下载吗？ 我希望问题是清楚的。我更喜欢在不向数据库注入PL/SQL过程的情况下做到这一点。

我试图用java解码JWT负载，但是这个负载被压缩/压缩了 JAVAutil。拉链DataFormatException:标头检查不正确 其他一些使用其他编程语言的人能够用这个解决这个问题，他们想知道我将如何用java实现这一点？

介绍下MapReduce ● 1.1 MapReduce定义 ○ MapReduce 是一个分布式运算程序的编程框架，是用户开发“基于 Hadoop 的数据分析应用”的核心框架。 ○ MapReduce 核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并行运行在一个 Hadoop 集群上。 MapReduce优缺点 ● 1.2 MapReduce优缺点 ○ 1.2.

介绍下YARN ● Yarn 是一个资源调度平台，负责为运算程序提供服务器运算资源，相当于一个分布式的操作系统平台，而 MapReduce 等运算程序则相当于运行于操作系统之上的应用程序。 YARN有几个模块 ● Yarn架构 ○ ResourceManager（RM）： ○ NodeManager（NM）： ○ ApplicationMaster（AM）： ○ Container： YARN工作

字节面经 项目的数据来源和的数据的规模 Spark Shuffle spark的宽窄依赖 数据倾斜问题（★★★★★） 产生数据倾斜的原因 遇到过的数据倾斜的实际情况 数据倾斜的解决办法 介绍一下hadoop的NameNode NameNode高可用架构 NameNode主节点宕机，之后的选取机制 Zookeeper的选取机制 NameNode中的元数据是否会丢失？（★★★★★） 怎么保证元数据不丢

1.mapreduce的shuffle过程。 2.海量节点的情况下，NameNode如何扩展用多台NameNode保存元数据。 3.多个NameNode，其中一个NameNode挂了，其它NameNode如何上线。 4.海量的（userid,pageid）二元组数据，内存小的情况，用java或者sql计算每个pageid的userid top10的方法？ Java：数据切块并按pageid分区，每

写面经攒人品，同时也是对自己的实习面试的一个记录吧 1.介绍项目，因为是密码学项目，面试官可能不是很了解，但是抠得很细，一直问到他大概明白是做了什么为止 2.智能指针 3.协程 4.Java线程池 5.Redis布隆过滤器 6.数据结构中序遍历 7.有没有在C++中引用过第三方包 8.手撕算法:给一个数字串，相邻两个字符相加为10可以消去，问最终字符串长度 9.介绍了一下所接触过的其他加密算法 面

1小时，全程 LSM tree 深挖 LSM-tree 存储引擎和 Raft 的关系 LSM-tree 原理和特点 为什么要追加写 LSM-tree 的工业实现 LSM-tree 的合并方式（合并超出阈值的部分还是全部？优缺点 Bloom filter 的实现 Bloom filter 如何持久化 缓存的索引怎么做缓存淘汰 缓存的索引一个 SSTable 对应一个 map 和用一个全局 map 的

Microsoft Excel 的功能真的可以用博大精深来形容。特别是自Excel 2007 在原有的基础上又增加了一些更简单易用的功能。 特别是数据透视表功能，更被认为是Excel 的精华所在。 本文从创建数据透视表到使用数据透视表查看、汇总、分析数据，还包括数据透视表的布局控制，数据透视表的数据源更新与链接等功能都做了详尽的介绍。

大数据通用处理平台 Spark Flink Hadoop Drill 分布式协调 ZooKeeper 分布式存储 HDFS Alluxio(tachyon) Ignite 存储格式 Parquet ORC CarbonData Kudu 数据库 HBase 资源调度 Yarn Mesos Kubernetes 工作流调度 Oozie Azkaban 机器学习工具 Mahout Spark Mlib

一面 英文自我介绍 mr的shuffle zookeeper选举 spark内存管理 hbase中region的拆分 数仓中都有什么表 怎么处理缓慢变化维，拉链表有用过吗 yarn的架构 namenode ha的实现 namenode启动过程中怎么确定哪个是active哪个是standby spark sql用的多吗 手撕 中等leetcoode，合并区间 二面 自我介绍 家哪里的 对博世有什么了

1.自我介绍 2.对于岗位理解 3.对于大数据经典组件的简要介绍 4.spark出现明显解决hadoop什么问题 5.sparkrdd的内存管理机制 6.spark提交任务后集群的内存管理机制 7.实习工作介绍 8.谈论对于优化的理解 9.评价方法论，衡量优化工作的指标 10.对于最左匹配原则的理解 11.为什么联合索引的后面字段不走联合索引 12.sql，直播间峰值问题，说了开窗函数排序的思路，

一面 面试时间：70min 自我介绍 Java数据类型？ String builder和String buffer区别？ String为什么是不可变的？为什么要设计成不可变？ 泛型了解吗？ 反射了解吗？常用的反射方法？ Java集合类型？ 数组和链表的区别？ 讲讲HashMap原理？转换成红黑树条件？为什么这么设计？ 线程安全的HashMap？ConcurrentHashMap和HashTable

已挂 实习时间 自我介绍 了不了解 go（不了解） redis 为什么快 redis 多线程 redis 实现分布式锁 MySQL 底层索引 B+树 事务四大特性 分库分表 分库分表怎么精准定位 TCP 三次握手、四次挥手 HTTP、HTTPS 的区别 SSL/TLS 消息队列的作用 堆和栈的区别（数据结构） 了不了解 linux（不了解） 线程和进程的区别 死锁的概念 死锁产生的条件 项目 反问

自我介绍 数据结构 数组和链表的区别 java中哪里用到了这两个数据结构 栈和队列的区别 网页的前进和后退都是使用哪个数据结构 arraylist和linkedlist的区别 看过哪些书 mysql的索引 b树和b+树的区别，b+树的优点 如果使用mysql存1000w行数据，设计方案 如果设置索引，那么存储索引也会占用很大的空间，怎么解决 数仓的项目，怎么分层的 为什么要分层 每层干了什么事 反