Hadoop Classic与纱线的比较
我有两个集群，每个集群运行不同版本的Hadoop。我正在研究一个POC，我需要了解YARN如何提供同时运行多个应用程序的能力，这是用经典的Map Reduce框架无法实现的。
Hadoop Classic：我有一个wordcount.jar文件，并在单个集群上执行（2个映射器和2个简化器）。我并行地开始了两个工作，一个幸运的开始首先得到了两个映射器，完成了任务，然后第二个工作开始。这是预期的行为。
共有1个答案
不确定这是否是确切的原因，但经典的Hadoop和YARN架构使用了不同的调度程序。经典的Hadoop使用JobQueueTaskScheduler，而YARN默认使用CapacityScheduler。
-
我有几个关于向HDFS提交作业和Hadoop中的YARN架构的问题： 所以我的问题是在HDFS中纱线的组成部分是如何协同工作的：？ 因此，YARN由NodeManager和Resource Manager组成。在这两个组件中：NodeManager是否运行在每个DataNode上，而ResourceManager是否运行在每个集群的每个NameNode上？因此，当任务跟踪器（在每个DataNode
-
我想创建一个test React应用程序，但我在安装时遇到了困难：我使用npm安装了Thread，因为Thread msi没有启动，所以： 我读了这个错误消息： 纱线产生v0。15.1错误：找不到包。C:\Users***\React中的json（或bower.json）文件位于C:\Users***\AppData\Roaming\npm\node\u modules\yarnpkg\lib\c
-
我正在用纱线运行Flink（1.4.2）。我正在使用Flink纱线客户端将作业提交给纱线集群。 假设我有一个有4个插槽的TM，我部署了一个并行度为4、有2个容器的flink作业—1个JM和1个TM。每个并行实例将部署在TM中的每个任务槽中（每个槽运行的整个作业管道）。 我的作业进行连接（非键控流上的SQL时间窗口连接），并缓冲最后3小时的数据。根据Flink docs的说法，在不同的任务槽中运行的
-
我在AWS EMR Spark上运行一个应用程序。这里，是spark提交作业- AWS使用纱线进行资源管理。我正在查看指标（下面的屏幕截图），对纱线“容器”指标有疑问。 这里，分配的容器显示为2。但是，我使用了4个节点（3个从1个主节点），所有8个内核CPU。那么，只有2个容器是如何分配的呢？
-
我正在使用spark submit执行以下命令： spark submit script\u测试。py—主纱线—部署模式群集spark submit script\u测试。py—主纱线簇—部署模式簇 这工作做得很好。我可以在Spark History Server UI下看到它。但是，我无法在RessourceManager UI（纱线）下看到它。 我感觉我的作业没有发送到集群，但它只在一个节点上