Scala Spark-丢弃空键

Question

 val pairs = lines.map( l => ( if (l.split(",")(1).toInt < 60) { "rest" } else if (l.split(",")(1).toInt > 110) { "sport" }, 10) ).reduceByKeyAndWindow((a:Int, b:Int) => (a+b), Seconds(12))

("rest", 30)
("sport", 120)
((),10)

 pairs.filter{case (key, value) => key.length < 3} //error: value length is not a member of Any
 pairs.filter(_._1 != "")  //no error, just still keeps the empty keys, too   

似乎都没用。

Answer 1

您的问题是if表达式在不匹配unit的情况下返回string。您可以轻松修复筛选:

val pairs = lines.map(
  l => (if (l.split(",")(1).toInt < 60) {"rest"} else if (l.split(",")(1).toInt > 110) {"sport"}, 10))
    .filter(_._1 != ())

scala中的()是类型unit的标识。

但这不是正确的方式，真的。结果仍然是(Unit，Int)的元组。使用此if语句时会丢失类型。

val pairs =
  lines.map(_.split(",")(1).toInt)
    .filter(hr => hr < 60 || hr > 110)
    .map(hr => (if (hr < 60) "rest" else "sport", 10))

val pairs =
  lines.map(_.split(",")(1).toInt)
    .collect{
      case hr if hr < 60 => "rest" -> 10
      case hr if hr > 110 => "sport" -> 10
    }

可能这个变体更易读。

另外，请注意我是如何将split移动到单独的步骤中的。这样做是为了避免对第二个if分支第二次调用split。

UPD.另一种方法是使用flatmap，如注释中所建议的：

val pairs =
  lines.flatMap(_.split(",")(1).toInt match{
      case hr if hr < 60 => Some("rest" -> 10)
      case hr if hr > 110 => Some("sport" -> 10)
      case _ => None
    })