纱线中的CPU调度是否真的会改善spark中的并行处理？
如果我提交这样的spark作业，则具有容量调度器的YARN在为用户请求分配资源时只会考虑内存”-master YARN--deploy mode client--驱动程序内存4g--执行器内存4g--num executors 1--executor cores 3”，YARN会分配一个具有4gb内存和1个vcpu的执行器，但在执行任务时，它会并行执行3个任务。
它是单独使用那个单核一次执行3个任务吗？
所以，如果我启用CPU调度和CGroups（在HDP集群中），Thread会分配3个vcpu核吗？这组3个任务会在每个CPU中执行吗？它真的会缩短处理时间吗？
至于现在，我无法在我的集群（HDP 2.6.5 centos 7.5）中启用CPU调度，因为启动节点管理器中出现以下错误“无法强制执行cpu权重；无法写入cgroup at： /sys/fs/cgroup/cpu， cpuacct”
共有1个答案
不，vcore和vcpus实际上是一个逻辑结构，与系统上的实际内容无关，而是与运行的进程数量更密切相关。如果进程是为此而设计的，操作系统（在本例中Linux）将把工作迁移到所有CPU。由于运行的多线程，大多数长时间运行的Java应用程序都会这样做。
除非启用cgroup，否则纱线不会控制CPU内核。纱线控制的唯一事情是内存使用。这无关紧要的原因是，典型的Hadoop工作负载是I/O绑定的，而不是CPU绑定的。
- 将cGroup与纱线一起使用
-
我读到java中的线程调度程序在单个进程中每次只运行一个线程。 假设我们有一个JVM运行一台CPU机器。因此，如果我启动10个线程，它们将由同一个线程调度程序管理。
-
我在学习Reactor，我想知道如何实现某种行为。假设我有一个传入消息流。每条消息都与某个实体关联，并包含一些数据。 与不同实体相关的消息可以并行处理。但是，与任何单个实体相关的消息必须一次处理一条，即在实体“abc”的消息1处理完成之前，无法开始处理实体“abc”的消息2。在处理消息的过程中，应该缓冲该实体的进一步消息。其他实体的消息可以不受阻碍地进行。可以将其视为每个实体的线程上都有这样的代码
-
本文向大家介绍java7改善后的异常处理，包括了java7改善后的异常处理的使用技巧和注意事项，需要的朋友参考一下 异常处理有两处改进——multicatch和final重抛。要知道它们对我们有什么帮助，请先看一段Java 6代码。下面这段代码试图查找、打开、分析配置文件并处理此过程中可能出现的各种异常： 在Java 6中处理不同的异常 这个方法会遇到的下面几种异常： 配置文件不存在； 配置文件在
-
我有一个包含5个节点的Hadoop集群，每个节点有12个核心，内存为32GB。我使用YARN作为MapReduce框架，因此我对YARN有以下设置： yarn.nodemanager.resource.cpu-vcores=10 yarn.nodemanager.resource.memory-MB=26100 然后，我的YARN cluster页面（http://myhost:8088/clus
-
我试图根据一些逻辑在路由中拆分一个传入交换。每个拆分部分都将连接到bean中的ssh服务器。 但似乎最多有10个进程并行运行。 我添加了以下代码以增加线程池工厂的大小，但这没有帮助。