简单说一下hadoop和spark的shuffle过程
hadoop：map端保存分片数据，通过网络收集到reduce端 spark：spark的shuffle是在DAGSchedular划分Stage的时候产生的，TaskSchedule要分发Stage到各个worker的executor
减少shuffle可以提高性能
-
本文向大家介绍简答说一下hadoop的map-reduce编程模型？相关面试题，主要包含被问及简答说一下hadoop的map-reduce编程模型？时的应答技巧和注意事项，需要的朋友参考一下 首先map task会从本地文件系统读取数据，转换成key-value形式的键值对集合。 将键值对集合输入mapper进行业务处理过程，将其转换成需要的key-value在输出。 之后会进行一个partiti
-
本文向大家介绍简答说一下hadoop的map-reduce编程模型相关面试题，主要包含被问及简答说一下hadoop的map-reduce编程模型时的应答技巧和注意事项，需要的朋友参考一下 MapReducer工作过程 首先map task会从本地文件系统读取数据，转换成key-value形式的键值对集合，使用的是hadoop内置的数据类型，比如longwritable、text等； 将键值对集合输
-
在火花的情况下，一旦行被“”拆分，输出将存储在内存中。与函数map和reduce类似。我相信在跨分区进行处理时也是如此。 在MapReduce的情况下，每个中间结果（比如split/map/reduce之后的单词）是否会保存在磁盘上，即HDFS，这使得它比Spark慢？我们没办法把它们留在记忆中？分区结果的情况也一样？
-
本文向大家介绍简单描述一下，TCP的连接和释放过程。相关面试题，主要包含被问及简单描述一下，TCP的连接和释放过程。时的应答技巧和注意事项，需要的朋友参考一下 考察点：网络基础 三次握手的过程 1）主机A向主机B发送TCP连接请求数据包，其中包含主机A的初始序列号seq(A)=x。（其中报文中同步标志位SYN=1，ACK=0，表示这是一个TCP连接请求数据报文；序号seq=x，表明传输数据时的
-
本文向大家介绍请简单描述一下类的加载过程相关面试题，主要包含被问及请简单描述一下类的加载过程时的应答技巧和注意事项，需要的朋友参考一下 考察点：JVM 如下图所示，JVM类加载机制分为五个部分：加载，验证，准备，解析，初始化，下面我们就分别来看一下这五个过程。 加载 加载是类加载过程中的一个阶段，这个阶段会在内存中生成一个代表这个类的java.lang.Class对象，作为方法区这个类的各种数据的
-
本文向大家介绍请你简单说一下自媒体和传统媒体的区别。相关面试题，主要包含被问及请你简单说一下自媒体和传统媒体的区别。时的应答技巧和注意事项，需要的朋友参考一下 近年来，自媒体是一个很火的概念，甚至一度威胁到了某些传统媒体。而针对二者的区别，我认为主要有以下几点： 1.发声者的区别。传统媒体的发声者是固定的，通常只有专业的媒体人才能通过报纸、杂志来发表自己的观点。但是自媒体的发声主体可以是任何人，从