《烽火》专题

我有以下数据帧，其中包含一些包含数组的列。（我们使用的是火花 1.6） 我期望得到以下结果： 我尝试过横向视图： 但是我得到了一个笛卡尔积，有很多重复。我已经尝试了相同的方法，使用带有列的方法分解所有列，但仍然得到很多重复项 当然，我可以对最终的数据帧进行区分，但这不是一个完美的解决方案。有什么方法可以分解这些列而不得到所有这些副本吗？ 谢啦！

我正在使用SparkSQL（我提到它在Spark中，以防影响SQL语法——我还不够熟悉，无法确定），我有一个正在尝试重新构建的表。我有一种在本地工作的方法，但是当我尝试在AWS EC2实例上运行相同的命令时，我会收到错误报告，说我有一个“未解析的操作符” 基本上我有这样的数据: 我在 varA 上的 sql 上下文中使用“分解”命令。当我在本地运行此命令时，情况会正确返回，但在 AWS 上，它们会

我想知道如何使用JAVA从SparkSQL中的领域特定语言（DSL）函数调用UDF函数。 我有UDF函数（仅举例）： 我已经注册到sqlContext了 当我运行下面的查询时，我的UDF被调用，我得到一个结果。 我将使用Spark SQL中特定于域的语言的函数转换此查询，但我不确定如何进行转换。 我发现存在调用 UDF（） 函数，其中其参数之一是函数 fnctn 而不是 UDF2。如何使用 UDF

我有一个 功能，请告诉我是否有任何解决方法。 谢谢你。！

如何使用java spark从spark数据帧中删除csv文件中的所有特殊字符例如：以下是包含空格和特殊字符的csv文件内容 o/p我需要 提前感谢

将数据放在下面的CSV文件中是格式。想要从 列中拆分 JSON，并使用键创建一个新列。将火花 2 与斯卡拉一起使用。 输出： 非常感谢任何帮助。

我正在处理UDF中的空值，该UDF在数据帧（源自配置单元表）上运行，该数据帧由浮点数结构组成： 数据帧（）具有以下架构： 例如，我想计算x和y的总和。请注意，我不会在以下示例中“处理”空值，但我希望能够在我的udf中检查、或是否。 第一种方法: 如果＜code＞struct是否为空，因为在scala中＜code＞浮点不能为空。 第二种方法： 这种方法，我可以在我的udf中检查是否为空，但我可以检查

我想过滤Spark sql。DataFrame只留下想要的数组元素，而不知道整个模式（不要硬编码）。模式： 我希望整个根只包含特定的测量值（已过滤），并且根必须在过滤后至少包含一个。 我有这个根的数据帧，我有一个过滤值的数据帧（一列）。 所以，例如：我只知道我的根包含测量数组，而该数组包含标签。所以我想要包含标签（“label1”、“label2”）的整个根和整个测量值。 最后一次使用爆炸和col

我想注册一个UDAF类（用Scala或Python编写）并在SparkSQL中使用它。 例如： 模拟代码 然后我可以直接在spark sql中使用udaf，如下所示： Spark仅提供了Spark.udf。registerJavaFunction方法注册UDF类。 有人知道如何注册UDAF吗？

我有以下Apache Spark数据帧（DF1）： 首先，我想按对DataFrame进行分组，将结果收集到中并接收新的DataFrame（DF2）： 之后，我需要收集到通过分组，我将收到如下所示的新DataFrame（DF3）： 所以，我有一个问题 - 首先，我可以在阿帕奇火花中使用按数组类型列分组吗？如果是这样，我可能会在 单个字段中result_list数千万个值。在这种情况下，阿帕奇火花是否

我有一个布尔值，我需要设置一个基于这个布尔值的条件。我试图得到这个布尔值，然后用它在我的FutureBuilder，但我总是得到空，即使我可以看到值是在火还原。请帮助。 小装置

我在火花数据帧中有一个“结构类型”列，它有一个数组和一个字符串作为子字段。我想修改数组并返回相同类型的新列。我可以用UDF处理它吗？或者有什么替代方案？ 似乎我需要行类型的UDF，类似 这是有意义的，因为Spark不知道返回类型的模式。不幸的是，udf.register也失败了:

我有一个包含多列的数据框架： 我现在想将组合成一列。但是，我不知道列列表会有多大，否则我可以使用UDF3来组合这三个。 所以期望的结果是: 我怎样才能实现这一点？ 不工作的伪代码： 最坏的解决方法是对输入列的数量执行switch语句，然后为每个输入列编写一个UDF，即2-20个输入列，如果提供了更多的输入列，则抛出一个错误。

类似的问题，但没有足够的观点来评论。 根据最新的Spark文档,< code>udf有两种不同的用法，一种用于SQL，另一种用于DataFrame。我找到了许多关于如何在sql中使用< code>udf的例子，但是还没有找到任何关于如何在数据帧中直接使用< code>udf的例子。 o.p.针对上述问题提供的解决方案使用，这是，将根据Spark Java API文档在Spark 2.0中删除。在那

想象一下下面的代码： 如何定义myUdf的返回类型，以便查看代码的人立即知道它返回了一个Double？