等待Scala中具有组合选项的期货列表

Question

我必须从带有Scala的RESTAPI中获取给定列表中每个文件的问题列表。我想并行处理这些请求，并使用调度库来实现。我的方法是从Java框架调用的，我必须在该方法结束时等待所有未来的结果，以将整体结果返回到框架。这是我的密码：

def fetchResourceAsJson(filePath: String): dispatch.Future[json4s.JValue]

def extractLookupId(json: org.json4s.JValue): Option[String]

def findLookupId(filePath: String): Future[Option[String]] =
  for (json <- fetchResourceAsJson(filePath))
    yield extractLookupId(json)

def searchIssuesJson(lookupId: String): Future[json4s.JValue]

def extractIssues(json: org.json4s.JValue): Seq[Issue]

def findIssues(lookupId: String): Future[Seq[Issue]] =
  for (json <- searchIssuesJson(componentId))
    yield extractIssues(json)

def getFilePathsToProcess: List[String]


def thisIsCalledByJavaFramework(): java.util.Map[String, java.util.List[Issue]] = {
  val finalResultPromise = Promise[Map[String, Seq[Issue]]]()

  // (1) inferred type of issuesByFile not as expected, cannot get 
  // the type system happy, would like to have Seq[Future[(String, Seq[Issue])]]

  val issuesByFile = getFilePathsToProcess map { f => 
    findLookupId(f).flatMap { lookupId =>
     (f, findIssues(lookupId)) // I want to yield a tuple (String, Seq[Issue]) here
    }
  }
  Future.sequence(issuesByFile) onComplete {
    case Success(x) => finalResultPromise.success(x) // (2) how to return x here?
    case Failure(x) => // (3) how to return null from here?
  }

  //TODO transform finalResultPromise to Java Map
}

这段代码有几个问题。首先，我没有得到我期望的< code>issuesByFile (1)的类型。如果< code>findLookUpId无法找到查找Id(即< code>None)，我只想忽略它的结果。我在各种教程中读到过< code>Future[Option[X]]在Scala中的函数组合和for表达式中不容易处理。所以我也很好奇正确处理这些问题的最佳实践是什么。

其次，我必须以某种方式等待所有期货完成，但不知道如何将结果返回到调用Java框架（2）。我能在这里使用promise来实现这一点吗？如果是，我该怎么做？

最后但同样重要的是，如果有任何错误，我只想从< code > thisiskalledbyjavaframework 返回< code>null，但不知道如何返回(3)。

非常感谢任何帮助。

谢谢，迈克尔

Answer 1

几点：

< Li >(1)的第一个问题是，您没有处理< code>findLookupId返回< code>None的情况。在这种情况下，你需要决定怎么做。整个过程失败？从列表中排除该文件？ < Li >(1)的第二个问题是< code>findIssues本身将返回一个< code>Future，您需要< code >映射它，然后才能构建结果元组 < li >有一个快捷方式可用于< code>map和< code > future . sequence :< code > future . traverse < li >如果因为Java接口是固定的且不能更改以支持期货本身而不能更改方法的结果类型，则必须等待期货完成。使用< code>Await.ready或< code>Await.result来完成此操作。

考虑到所有这些因素并选择忽略找不到id的文件，结果会出现以下代码：

// `None` in an entry for a file means that no id could be found
def entryForFile(file: String): Future[(String, Option[Seq[Issue]])] =
  findLookupId(file).flatMap { 
    // the need for this kind of pattern match shows 
    // the difficulty of working with `Future[Option[T]]`
    case Some(id) ⇒ findIssues(id).map(issues ⇒ file -> Some(issues))
    case None     ⇒ Future.successful(file -> None)
  }

def thisIsCalledByJavaFramework(): java.util.Map[String, java.util.List[Issue]] = {
  val issuesByFile: Future[Seq[(String, Option[Seq[Issue]])]] =
    Future.traverse(getFilePathsToProcess)(entryForFile)

  import scala.collection.JavaConverters._
  try
    Await.result(issuesByFile, 10.seconds)
      .collect {
        // here we choose to ignore entries where no id could be found
        case (f, Some(issues)) ⇒ f -> issues
      }
      .toMap.mapValues(_.asJava).asJava
  catch {
    case NonFatal(_) ⇒ null
  }
}