《大数据开发》专题

1.自我介绍 2.对于岗位理解 3.对于大数据经典组件的简要介绍 4.spark出现明显解决hadoop什么问题 5.sparkrdd的内存管理机制 6.spark提交任务后集群的内存管理机制 7.实习工作介绍 8.谈论对于优化的理解 9.评价方法论，衡量优化工作的指标 10.对于最左匹配原则的理解 11.为什么联合索引的后面字段不走联合索引 12.sql，直播间峰值问题，说了开窗函数排序的思路，

一面 面试时间：70min 自我介绍 Java数据类型？ String builder和String buffer区别？ String为什么是不可变的？为什么要设计成不可变？ 泛型了解吗？ 反射了解吗？常用的反射方法？ Java集合类型？ 数组和链表的区别？ 讲讲HashMap原理？转换成红黑树条件？为什么这么设计？ 线程安全的HashMap？ConcurrentHashMap和HashTable

已挂 实习时间 自我介绍 了不了解 go（不了解） redis 为什么快 redis 多线程 redis 实现分布式锁 MySQL 底层索引 B+树 事务四大特性 分库分表 分库分表怎么精准定位 TCP 三次握手、四次挥手 HTTP、HTTPS 的区别 SSL/TLS 消息队列的作用 堆和栈的区别（数据结构） 了不了解 linux（不了解） 线程和进程的区别 死锁的概念 死锁产生的条件 项目 反问

自我介绍 数据结构 数组和链表的区别 java中哪里用到了这两个数据结构 栈和队列的区别 网页的前进和后退都是使用哪个数据结构 arraylist和linkedlist的区别 看过哪些书 mysql的索引 b树和b+树的区别，b+树的优点 如果使用mysql存1000w行数据，设计方案 如果设置索引，那么存储索引也会占用很大的空间，怎么解决 数仓的项目，怎么分层的 为什么要分层 每层干了什么事 反

让我印象最深的是最后SQL，要求是输出一个保留一位小数的比例，题干都没给具体是哪天。 题目：运营想知道《某天》的用户中30天后再次打车的占比。（没了） 然后给了个表 示例：0.4 应该凉了 part1-----行测 很少会的，规律是一点找不出来 -1,-2,-1,2,7,(),23 -----()里是什么 part2----excel 如果不熟练，我感觉是每天都用的程度，做的很慢，还不一定对 我直

1.自我介绍 2.项目 3.问项目有没有遇到数据倾斜怎么处理 项目有没有OOM怎么处理 项目有没有遇到数据丢失怎么处理 4.lc全排列

#百度#面试官很好，总体感觉问的比较简单，但是好久不看八股感觉很多都忘记...理解还是比较浅层，一些实战方面的内容还比较欠缺...要努力了！！！

9.7做的笔试，9.10武汉地区线下面试 总共三十分钟左右，面试官技术很强，人也很nice 体验很好。 主要拷打的项目和八股，问得很底层，感觉八股答的不好应该是寄了 自我介绍； 问了实习，主要做的工作内容； 项目架构，数据流，涉及到的组件，为什么选择，不同源的数据怎么汇总，项目的数据量是多少； flink的check point机制，存储位置； kafka的架构，用了多少个节点； Hbase的结构

介绍项目，聊项目 哈希场景 spring Bean创建流程 spring事务注解，参数 平常中碰到过的事务问题，使用什么解决事务问题 求两个有序数组中不重复元素的个数

我有两个不同列数和行数的CSV文件。第一个CSV文件有M列和N行，第二个文件有H列和G行。一些列具有相同的名称。 null 另外，如果两个CSV文件有两个数据帧，并希望这样做，例如，如果我将第一个CSV加载到中，将第二个加载到中，然后希望合并到，类似于上面的示例。

问题内容： 在我的开发环境中，我有两个服务器。一个通过http请求将图像发送给另一个。 客户端服务器执行以下操作： 收到请求的服务器执行以下操作： 如果我发送小图像，则效果很好。但是，如果我发送了较大的图像，尽管文件保存正确，则仅显示图像的第一上部。其余为黑色。图像尺寸正确。 我想这只是文件中写入的图像的第一块。我尝试创建一个和一个，但似乎不起作用： 我可以直接从二进制数据流传输到文件吗？对于我所

了解哪些大数据组件 Shuffle 的作用是什么 Shuffle 中合并的操作有什么用/好处 MapReduce 中出现数据倾斜怎么处理 Yarn 有哪几个比较重要的进程 ResourceManager 主要的作用 ApplicationMaster 主要的作用 任务的监控在哪个进程 ZooKeeper leader选举机制 ZooKeeper 读写一致性具体体现在哪些地方 Spark 宽窄依赖

### 一面 自我介绍+实习经历 (31608)### 二面 1. 自我介绍 2. 实习经历，我说了JVM的重用 3. JVM重用的底层原理 4. sql输出排名前七的学生 5. hive处理小文件的方式 6. hive组件，原理 7. hiveSQL转化为mapreduce的执行过程 8. hive执行过程中的优化 9. 为什么使用环形缓冲区 10. HDFS组件 11. secondnamen

我遇到了MySQL的问题。我收到错误。关于StackOverflow,他们说MySQL配置中的很可能太低。 我尝试在中更改它，但该文件是不可编辑的。不能在PA上使用。 我正在使用Sqlalchemy处理与MySQL服务器的交互。 我能做什么？

校验者: @文谊 翻译者: @ゞFingヤ 对于一些应用程序，需要被处理的样本数量,特征数量（或两者）和/或速度这些对传统的方法而言非常具有挑战性。在这些情况下，scikit-learn 有许多你值得考虑的选项可以使你的系统规模化。 6.1. 使用外核学习实例进行拓展 外核（或者称作 “外部存储器”）学习是一种用于学习那些无法装进计算机主存储（RAM）的数据的技术。 这里描述了一种为了实现这一目的