如何使用spark操作符设置内存和CPU资源限制？
我是火花操作员的新手，我不知道如何在YAML文件中设置资源请求和限制，例如在我的情况下，我有驱动程序pod的内存请求512m，但限制呢，它是无界的？
spec:
driver:
cores: 1
coreLimit: 200m
memory: 512m
labels:
version: 2.4.5
serviceAccount: spark规格：驱动程序：核心：1核心限制：200m内存：512m标签：版本：2.4.5服务帐户：火花
共有1个答案
定义yaml文件时设置限制是一种很好的做法。如果您不这样做，您将面临按照本文档使用节点上所有资源的风险，因为没有上限。
驱动程序和执行程序吊舱的内存限制由Spark中的Kubernetes调度器后端在内部设置，并计算为Spark的值。{驱动程序|执行器}。内存内存开销。
-
问题 你想对在Unix系统上面运行的程序设置内存或CPU的使用限制。 解决方案 resource 模块能同时执行这两个任务。例如，要限制CPU时间，可以像下面这样做： import signal import resource import os def time_exceeded(signo, frame): print("Time's up!") raise SystemEx
-
然而看起来chrome headless消耗了太多的内存和cpu，有人知道我们如何限制chrome headless的cpu/内存使用吗？或者有什么变通办法。 提前道谢。
-
我有一个函数，它获取一个节点的邻居，对于邻居，我使用广播变量和节点本身的id，它计算该节点的贴近度中心度。我用该函数的结果映射图的每个节点。当我打开任务管理器时，cpu根本没有被利用，就像它没有并行工作一样，内存也是一样，但是每个节点都是并行执行功能的，而且数据很大，完成起来需要时间，并不是不需要资源。非常感谢大家的帮助，谢谢。对于加载图形，我使用
-
如何增加Apache spark executor节点可用的内存？ 我有一个2 GB的文件，适合加载到Apache Spark。我目前正在1台机器上运行apache spark，因此驱动程序和执行程序在同一台机器上。这台机器有8 GB内存。 我尝试了这里提到的各种东西，但我仍然得到错误，并没有一个明确的想法，我应该改变设置。 我正在从spark-shell交互地运行我的代码
-
我想知道我正在使用的整个K8s集群中有哪些可用资源。 明确地说，我不是在谈论资源配额，因为它们只定义每个名称空间的资源。我想知道整个集群的功能是什么（内存、cpu等等）。请注意，所有资源配额的总和并不等于集群的能力。与集群的资源相比，总和可以更大（为名称空间之间的资源创建竞争条件）或更小（集群未充分利用其潜力）。 我能用kubectl回答这个问题吗？
-
问题内容： 可以说，钱不是限制因素，我想编写一个在一台功能强大的计算机上运行的Java程序。 目的是使Java程序 尽可能快地运行，而不必 为任何事情 交换或进入磁盘 。 假设这台计算机具有： 1 TB RAM（64个16GB DIMM） 64个处理器核心（8个8核处理器） 运行64位Ubuntu 运行在JVM中的Java程序的单个实例能否利用这么多的RAM和处理器？ 是否有任何实际的考虑因素可能