Spark Scala-将列拆分为多行
在我在这里发布的问题之后：
斯帕克·姆利布 - 斯卡拉
我还有一个疑问…有可能转换这样的数据集：
2,1,3
1
3,6,8
进入这个：
2,1
2,3
1,3
1
3,6
3,8
6,8
基本上我想发现电影之间的所有关系。有可能做到吗？
我目前的代码是：
val input = sc.textFile("PATH")
val raw = input.lines.map(_.split(",")).toArray
val twoElementArrays = raw.flatMap(_.combinations(2))
val result = twoElementArrays ++ raw.filter(_.length == 1)
共有1个答案
假设＜code＞input＜/code＞是一个多行字符串。
scala> val raw = input.lines.map(_.split(",")).toArray
raw: Array[Array[String]] = Array(Array(2, 1, 3), Array(1), Array(3, 6, 8))
以下方法丢弃单元素数组，在您的示例中为 1。
scala> val twoElementArrays = raw.flatMap(_.combinations(2))
twoElementArrays: Array[Array[String]] = Array(Array(2, 1), Array(2, 3), Array(1, 3), Array(3, 6), Array(3, 8), Array(6, 8))
它可以通过附加过滤后的＜code＞raw＜/code＞集合来修复。
scala> val result = twoElementArrays ++ raw.filter(_.length == 1)
result: Array[Array[String]] = Array(Array(2, 1), Array(2, 3), Array(1, 3), Array(3, 6), Array(3, 8), Array(6, 8), Array(1))
我认为组合的顺序无关紧要。
val raw = rdd.map(_.split(","))
-
问题内容： 我有一个具有这种结构的表。 我无法弄清楚我将使用哪种SQL查询来获得这样的结果集： 我正在尝试将三列分为三个单独的行。这可能吗？ 问题答案： SELECT Y.UserID, Y.UserName, QuestionName = ‘AnswerToQuestion’ + X.Which, Response = CASE X.Which WHEN ‘1’ THEN AnswerToQue
-
问题内容： 我的问题是我有一个这样的表： c1 | c2 | c3 | c4是一个由|分隔的值。 我的最终结果应如下所示： 我该怎么做呢？ 谢谢 问题答案： 这就是您可以执行的操作，使用管道将字符串拆分并使用spark函数爆炸数据 输出： 希望这可以帮助！
-
如何将这列列表拆分为两列？ 期望的结果：
-
我在presto上有一个表，它有多个记录的记录。在该记录中,我使用了这个简单的SQL查询,
-
我有一个数据框架，它有一行和几列。有些列是单个值，有些是列表。所有列表列的长度相同。我想将每个列表列拆分为单独的行，同时保留任何非列表列。 样本DF： 我想要什么： 如果我只有一个列表列，那么只需执行< code>explode就很容易了: 然而，如果我尝试分解＜code＞c＜/code＞列，我得到的数据帧长度为我想要的平方： 我想要的是-对于每一列，取该列中数组的第n个元素，并将其添加到新行。我
-
我有一个包含N个字段的数据框，如下所述。列的数量和值的长度将有所不同。 输入表： 我必须用一个序列列将其转换为以下格式。 预期输出表： 我尝试过使用explode，但explode一次只能使用一个数组。 有人知道我怎么做吗？谢谢你的帮助。
-
理想情况下，我希望这些新列也被命名。
-
问题内容： 我有桌子： 我想要这样的输出： 问题答案： 如果可以创建一个数字表，其中包含从1到要拆分的最大字段的数字，则可以使用以下解决方案： 请看这里的小提琴。 如果无法创建表，则解决方案可以是： 这里有个小提琴例子。