在Slurm群集上运行批处理作业
所以我现在花了几个小时试图解决这个问题，并希望得到任何帮助。
共有1个答案
根据您的描述，您应该使用
--array 0-654
--ntasks 1
--cpus-per-task 8
但是结果将取决于集群配置（特别是节点之间是否可以共享节点，作业数量是否存在限制，等等）
-
我们有一个用例，需要从一些分页的API读取数据，然后写入一些下游的Kafka主题。 我们已经能够通过Spring批处理集成远程分区来实现解决方案，其中管理器通过创建包含页码和偏移量以读取数据的执行上下文来处理任务的分区。管理器创建此执行上下文并将它们放在MessagingChannel上（我可以使用RabbitMQ和Kafka主题，以提供解决方案者为准）。工作人员（超过1个）从MessagingC
-
我已经在我的Windows7机器上设置了一个本地spark集群（一个主节点和辅助节点）。我已经创建了一个简单的scala脚本，我用sbt构建了这个脚本，并尝试用Spark-Submit运行这个脚本。请参阅以下资源 Scala代码： 现在，我用sbt构建并打包scala代码，并将其打包到一个JAR中。我的build.sbt文件如下所示 它创建一个jar，我使用spark submit命令提交它，如下
-
我正在使用spring批处理读取CSV文件并使用controller触发器将其写入DB。在启动应用程序时，在我从浏览器url中点击之前，我会在启动时看到来自阅读器的打印语句。虽然它不为我的处理器或写入器打印它，它们是在单独的类中，我已经自动连线。是因为读者是豆子吗？
-
我不知道如何使用调用Spring批处理中定义的作业，文档细节对我来说是不够的。 我遵循了Spring Batch官方指南，使用Java注释（例如)在Spring Batch中编写作业，因为我希望避免使用XML配置文件来描述作业、步骤等。 到目前为止我已经： 配置类(见下文），我使用AnnotaIon将定义、、、和（带有的所有内容放入其中。 具有方法的类，该方法具有并具有注释，以导入处理作业中的数据
-
我有一个作业流，我希望以以下方式运行它： 作业流将从Job1开始。在Job1成功完成后，Job1将同时启动Job2和Job4。 Job2和Job4将并行运行。 在Job2成功完成后，Job2将启动Job3。 在Job4成功完成后，Job4将启动Job5。 下面是job1.xml和job1的作业启动器类的代码片段： job1.xml uijobLauncher.java “job2,Job3”对和“
-
问题内容： 运行main方法时，将执行作业。这样我无法弄清楚如何控制作业的执行。例如，您如何安排作业，访问作业执行或设置作业参数的方式。 我试图注册自己的JobLauncher 但是当我尝试在主要方法中使用它时： 当加载上下文时，该作业再次执行，而当我尝试手动运行它时，我得到了。有没有办法防止自动作业执行？ 问题答案： 通过设置可以防止作业执行 在application.properties中。或