纱线和Hadoop

Question

我有几个关于向HDFS提交作业和Hadoop中的YARN架构的问题：

所以我的问题是在HDFS中纱线的组成部分是如何协同工作的：？

因此，YARN由NodeManager和Resource Manager组成。在这两个组件中：NodeManager是否运行在每个DataNode上，而ResourceManager是否运行在每个集群的每个NameNode上？因此，当任务跟踪器（在每个DataNode中）从作业跟踪器（在NameNode中）获得任务时，特定数据节点中的NodeManager将创建一个html" target="_blank">容器，该容器将从NameNode中的ResourceManager请求资源。因此，只有当数据节点中的任务跟踪器从NameNode中的作业跟踪器获得作业时，该资源管理器和节点管理器才起作用，其中NodeManager将向ResourceManager请求执行该作业的资源。这是正确的吗？

Answer 1

你是部分正确的。纱线被纳入图像，以避免Jobtracker的负担，它既做调度又做监控。因此，对于纱线，您没有任何工作跟踪器或任务跟踪器。作业跟踪器完成的作业现在由资源管理器完成，它有两个主要组件Scheduler（向应用程序分配资源）和ApplicationsManager（接受作业提交并在任何失败时重新启动ApplicationMaster）。现在，每个应用程序都有一个ApplicationMaster，它从调度器中协商容器（作业将在哪里运行），以便运行应用程序。

Nodemanager在每个从节点/数据节点上运行。在存在namenode的地方可能/可能不安装资源管理器。对于大型集群，我们通常需要分离主服务器，这样负载就不会转移到单个机器上。