用s3a多线程编写文件的Spark
for ( String Id: listOfId) {
Future<?> future = executor.submit( () -> {
ConvertToCsv( dataFrame, destinationPath, Id);
} );
futures.add( future );
}
我遇到的解决方案是配置s3a提交器。
如何在本地Spark中配置S3a提交器？还有其他的解决方案吗？
共有1个答案
-
问题内容： 我正在尝试使用多个线程在Java中编写一个大文件。 我已经尝试了Java 和类。 实际上，要写入的内容是使用和写入的整个表（Postgres）。文件中的每一行都是表中的一个元组，我一次要写100行。 编写方法： 单个待写入文件由附加模式下的多个线程打开。此后，每个线程都尝试写入文件文件。 以下是我面临的问题： 有时，文件的内容将被覆盖，即：一行仍然不完整，而下一行从那里开始。我的假设是
-
问题内容： 我有20个线程用println（）函数写入一个名为result.txt的文件。我该如何同步它们？ 我注意到每次我的程序运行时，results.txt中的文本行数都会不同。 谢谢。 问题答案： 通过包含同步方法以写入文件的类访问文件。一次仅一个线程将能够执行该方法。 我认为Singleton模式适合您的问题： 每次需要写入文件时，只需调用：
-
问题内容： 我编写了一个单一的Kafka使用者（使用Spring Kafka），该使用者从单个主题中读取内容，并且是使用者组的一部分。消耗完一条消息后，它将执行所有下游操作，并移至下一个消息偏移。我将其打包为WAR文件，并且我的部署管道将其推送到单个实例。使用部署管道，我可以将该工件部署到部署池中的多个实例。 但是，当我希望多个消费者作为基础架构的一部分时，我无法理解以下内容： 实际上，我可以在部
-
9.3.3 多线程编程的应用 线程原本是操作系统中的概念，是操作系统用于实现系统功能的工具。现在线程已演变成为用户程序可使用的工具，广泛用于应用程序设计。 多线程技术主要用于需要并发执行的场合。例如在很多游戏程序中，都需要维持一个动画场景，而玩家可以通过鼠标或键盘来输入操作指令，控制游戏的进行。假如程序只有一个 控制流，则当程序执行到等待用户输入指令的时候，由于用户输入较慢（相对 CPU 速度来
-
其实创建线程之后，线程并不是始终保持一个状态的，其状态大概如下： New 创建 Runnable 就绪。等待调度 Running 运行 Blocked 阻塞。阻塞可能在 Wait Locked Sleeping Dead 消亡 线程有着不同的状态，也有不同的类型。大致可分为： 主线程 子线程 守护线程（后台线程） 前台线程 简单了解完这些之后，我们开始看看具体的代码使用了。 1、线程的创建 Pyt
-
我编写了一个Kafka消费者（使用Spring Kafka），它从单个主题读取并且是消费者组的一部分。一旦消息被消费，它将执行所有下游操作并继续下一个消息偏移量。我已将其打包为WAR文件，我的部署管道将其推送到单个实例。使用我的部署管道，我可能可以将此工件部署到我的部署池中的多个实例。 但是，当我希望多个消费者作为我的基础设施的一部分时，我无法理解以下内容- > 实际上，我可以在部署池中定义多个实