《scala》专题

我有一个由col1和col2列聚合的源数据集。Col2值通过按位或运算进行聚合。我需要对Col2值应用过滤器，以选择位为8,4,2的记录 初始源原始数据 将Col1值折叠为每Col1值一行后，基于“上面的SourceRawData”聚合源数据，这是其他团队和Col2值通过按位或运算聚合的结果。注意我这里提供的是输出，而不是实际的聚合逻辑 现在，我需要对上面的聚合数据集应用过滤器，以根据原始源原始数

我有一个如下的数据框。我需要在现有列的基础上创建一个新列。 输出数据帧看起来像这样 我用来寻找col3的逻辑是如果col1计数 我熟悉如何在sql中实现这一点。但很难找到数据帧DSL的解决方案。任何帮助都将不胜感激。谢谢

目标是为每个组在数据帧中采样（不替换）不同数量的行。特定组要采样的行数在另一个数据帧中。 示例：idDF是要从中采样的数据帧。这些组由ID列表示。数据框planDF指定每个组要采样的行数，其中“datesToUse”表示行数，“ID”表示组。“totalDates”是该组的总行数，可能有用，也可能无用。 最终结果应包括从第一组（ID 1）中取样的3行、从第二组（ID 2）中取样的2行和从第三组（I

我如何创建/模拟Spark Scala数据帧与一个案例类嵌套在顶层？ 我目前正在单元测试一个在上述模式中输出数据帧的函数。为了检查相等性，我使用了toDF（），不幸的是，它给出了一个在模拟数据帧中的“_id”为nullable=true的模式，从而使测试失败（注意，函数的“实际”输出对所有内容都为nullable=true）。 我还尝试以不同的方式创建模拟数据帧，这导致了错误：https://pa

如何在火花scala数据帧（非文本）api中访问geomesas UDF？即如何转换 如何使sql UDF在scala数据帧DSL中的文本spark sql API中可用？即如何启用而不是此表达式 类似于 如何注册Geomesa UDF，使其不仅适用于sql文本模式<代码>SQLTypes。init（spark.sqlContext）fromhttps://github.com/locationt

我如何修改下面的代码来只获取表中的最后一行，特别是列下的值？原因是，这是一个巨大的表，我需要最后一行，特别是键值，才能知道它加载了多少。我不在乎还有什么其他内容。 第1行： 第2行： 第3行：

阅读Spark method sortByKey： 是否可能只返回“N”个数量的结果。因此，与其返回所有结果，不如返回前10名。我可以将已排序的集合转换为数组，并使用方法，但既然这是一个O（N）操作，有没有更有效的方法？

我正在尝试查看我们是否可以使用 spark/scala 从 dataFrame 中某个列中的值创建新列。我有一个数据帧，其中包含以下数据 在上面的数据中，col1/col2/col3是列名，后跟它的值。列名和值由< code >，分隔。每组由< code>|分隔。 现在，我想做到这一点 感谢任何帮助。

我有一个列为col1、col2、col3的数据帧。col3是下面定义的映射[String，String] 我按col1、col2进行分组，并使用collect_list进行聚合，以获得映射数组并存储在col4中。 然而，我希望将col4作为一个单独的映射，并将所有映射合并。目前我有： 预期输出 使用udf是否理想？ 感谢您的帮助。谢谢

假设我们有一个列为col1、col2、col3、col4的数据帧。现在，在保存df时，我想使用col2进行分区，并且我将保存的最终df不应该有col2。所以最终的df应该是col1、col3、col4。关于如何实现这一点，有什么建议吗？

在Apache Spark 2.1.0中，我有两个数据帧aaa_01和aaa_ 02。 我对这两个数据帧执行内部联接，从两个数据帧中选择几个列以显示在输出中。 Join 工作正常，但输出数据帧具有与输入数据帧中存在的列名称相同的列名。我被困在这里。我需要使用新的列名称，而不是在输出数据帧中获取相同的列名称。 下面给出了示例代码供参考 我获取的输出数据帧的列名称为“col1，col2，col3”。我

假设，我有以下数据帧： 与 col1 不同的值（p1、p2、p3）单独具有 id，将用作最终数据帧的列。在这里，id y 对于相同的 col1 值 p2 有两个 col2 值（b2 和 b3），因此，p2 将被视为数组类型列。因此，最终的数据帧将是 如何从第一个数据帧高效地实现第二个数据帧？

我有一个具有如下架构的数据帧 我已经有了上面的结果。 我想使用火花scala转换如下架构 请帮忙

可能至少有10个问题与此非常相似，但我仍然没有找到明确的答案。 如何使用scala将可空字符串列添加到数据帧？我可以添加一个具有空值的列，但数据类型显示为空 然而，该模式显示 我希望新列是string |-new column:string(nullable = true) 请不要将其标记为重复，除非它实际上是同一个问题并且在scala中。

我在Scala的Spark数据框架中有一列，它是使用 我想将此列传递给UDF，以便进一步处理，以处理此聚合列中的一个索引。 当我将参数传递给我的UDF时： UDF-类型为Seq[Row]：val removeUnstableActivations:UserDefinedFunction=UDF（（xyz:java.util.Date，def:Seq[Row]） 我收到错误： 我应该如何传递这些列，