什么时候使用Scala Futures？

Question

我是一名spark Scala程序员。我有一份spark工作，其中包含完成整个工作的子任务。我想使用ToFutures并行完成子任务。一旦完成整个工作，我必须返回整个工作响应。

关于scala Futures，我听说一旦主线程执行并停止，其余线程将被终止，并且您将得到空响应。

我必须使用等待。结果以收集结果。但是所有的博客都告诉你应该避免等待。结果是，这是一个糟糕的做法。

正在使用等待。在我的案例中，结果是否正确。？

def computeParallel(): Future[String] = {
  val f1 = Future {  "ss" }
  val f2 = Future { "sss" }
  val f3 = Future { "ssss" }

  for {
    r1 <- f1
    r2 <- f2
    r3 <- f3
  } yield (r1 + r2 + r3)
} 

computeParallel().map(result => ???)

根据我的理解，我们必须在Web服务中使用Futures，其中有一个进程始终在运行，不会退出。但在我的情况下，一旦逻辑执行（scala程序）完成，它就会退出。

我可以使用期货来解决我的问题吗？

提前感谢

Answer 1

除非在特殊情况下，否则在Spark中使用期货可能是不可取的，并且简单地并行化计算不是其中之一（为阻塞I/O提供非阻塞包装器（例如向外部服务发出请求）很可能是唯一的特殊情况）。

请注意，Future不保证并行性（它们是否并行执行以及如何并行执行取决于它们运行的ExecutionContext），只是异步。此外，如果您在Spark转换中产生执行计算的未来（即在执行器上，而不是驱动程序上），很可能不会有任何性能改进，因为Spark倾向于很好地保持执行器上的内核忙碌，所有产生这些未来所做的就是与Spark争夺内核。

一般来说，在组合Spark RDD/DStreams/Dataframes、参与者和期货等并行抽象时要非常小心：有很多潜在的雷区，这些组合可能会违反各种组件中的保证和/或约定。

还值得注意的是，Spark对中间值的可串行化有要求，并且期货通常不可串行化，因此Spark阶段不会产生未来；这意味着您基本上别无选择，只能等待在某个阶段生成的期货。

如果您仍然想在Spark阶段生成期货（例如将它们发布到Web服务），最好使用Future.sequence将期货折叠成一个，然后等待（注意，我还没有测试这个想法：我假设有一个隐式的CanBuildFrom[Iterator[Future[String]]， String， Future[String]]可用）：

def postString(s: String): Future[Unit] = ???

def postStringRDD(rdd: RDD[String]): RDD[String] = {
  rdd.mapPartitions { strings =>
    // since this is only get used for combining the futures in the Await, it's probably OK to use the implicit global execution context here
    implicit val ectx = ???
    Await.result(strings.map(postString))
  }
  rdd  // Pass through the original RDD
}