为不同的工作节点设置不同的执行器内存限制
谢谢,
共有1个答案
我不相信有任何方法有不同规模的执行者。您可以限制辅助节点的大小，但这实质上限制了辅助节点可以在该框上分配的内存总量。
运行应用程序时，只能在应用程序级别指定spark.executor.memory（每个执行器每个工作器都需要那么多内存）。
如果您的情况是有不同大小的框，您可以做的是将SPARK_WORKER_MEMORY设置为较小的数量，然后在较大的框上设置SPARK_WORKER_INSTANCES=2，在较小的框上设置SPARK_WORKER_INSTANCES=1。在本例中，我们假设较大的框是较小的框的两倍大。那么您将在较大的框上使用所有的内存,在较小的框上使用所有的内存,在较大的框上使用两倍的执行程序。
-
我对列有网格。在第二列中，我必须组合框（例如在第一行和第三行）。如何为它们设置不同的存储空间？第二个组合框的值取决于第一个组合框 这是一张图片 我看到一个例子，但是有不同的列，而不是行
-
企业中不同职位、不同职级、不同场景下都会有不同的用车制度，系统支持按照不同场景配置制度，并且支持每个员工拥有不同制度。 配置方法 1、单个员工配置 选择需要配置员工 选择该员工适用的企业支付制度 2、批量配置 批量为员工匹配制度有两种方式： 在界面中直接操作和上传员工的手机号码进行编辑。 ①在界面中直接操作 从界面中筛选出需要操作的员工，点击编辑 对选定的员工设置权限 可对选中的员工进行增加、移
-
本文向大家介绍Elixir连接不同机器上的节点，包括了Elixir连接不同机器上的节点的使用技巧和注意事项，需要的朋友参考一下 例子 在一个IP地址上启动命名进程： 在另一个IP地址上启动另一个命名进程：
-
问题内容： 当我发现有时候，不同的类实例位于相同的内存位置时，我正在玩图书馆。 下面的两个示例都展示了上述行为： 这让我很吃惊，所以也许您可以 解释为什么发生这种情况 。 该程序按我期望的方式运行，如下所示。 问题答案： 您的问题与Python如何分配内存有关。 tldr; Python使用堆来存储内存。释放资源后，它会到达堆的顶部。 Python必须分配内存来创建对象的实例。为了提高内存效率，P
-
我正在开发一个spring应用程序。本项目的配置如下： spring开发工具依赖项是maven依赖项之一 thymeleaf依赖项是通过spring boot starter（即 我用 文件夹被标记为my IntelliJ IDEA项目中的资源 我正在使用IntelliJ IDEA项目运行该应用程序。当我运行应用程序时，我可以在控制台输出中看到： 尽管我的所有配置似乎都是正确的，但运行中的应用程序
-
当我尝试使用Composer客户端将软件包安装到Contao时，我收到一个错误： 致命错误：第220行的phar://D:/wamp/www/myproject/composer/composer.phar/src/composer/dependencysolver/Solver.php中允许的内存大小为1073741824字节（尝试分配134217728字节） 我真的很困惑。我的PHP内存限制设