Spark-如何从平面地图创建具有选择性字段的地图

Question

我在平面地图中有8个字段（字段1、字段2、…、字段8），我想在运行时创建一个地图对象。我想创建一个带有动态键和值元素的地图。

例如。我有像field1，field2，field3这样的关键元素和像field6，field7这样的值元素。以下代码片段工作正常。

val myMap = myFlatMap.map(line1 => line1 match {
      case (field1,field2,field3,field4,field5,field6,field7,field8) => {

        ((field1,field2,field3) -> ( field6, field7))
      }

但是，键和值元素是动态获取的（如命令行html" target="_blank">参数）。如果我在数据结构中拥有关键元素，如String或Seq（）数组，我如何做类似的映射

输入：例如，myFlatMap 具有以下数据：（field1_row1，field2_row1，field3_row1，field4_row1，field5_row1，field6_row1，field7_row1，field8_row1） （field1_row2，field2_row2，field3_row2，field4_row2，field5_row2，field6_row2，field7_row2，field8_row2） （field1_row3，field2_row3，field3_row3，field4_row3，field5_row3，field6_row3，field7_row3，field8_row3）

输出:键、值对的映射如下。

（field1_row1，field2_row1，field3_row1）─

在上述示例中，输出映射的键为（字段1、字段2、字段3），值为（字段6、字段7）。并非每次运行作业都是如此。

在第二次运行中，我可能只需要映射（字段1，字段2）-

我有一个变量中的输入字段，keyFields=List（“field1”、“field3”和“field5”）。有没有一种优雅的方式来获得这些领域中的一些？

任何帮助将不胜感激。

Answer 1

你应该看看这个问题:有办法从列表中创建元组吗(无需代码生成)？

不过，我会听从dhg的建议。您真的应该尝试通过提前了解相关性来编写应用程序。

您还可以查看spark-sql和数据帧。您可以按任意数量键、任意数量的字段进行分组。