《scala》专题

读取ArrayType值（phoneNumbers）时出错，没有ArrayType值，我可以读取其余值。 当我这样做时。show，它只显示列名，没有值，但当我不使用“phoneNumbers”数组时，它可以正常工作。

我有一个特殊的问题。我试图使用自动生成的字符串从数据帧中选择一些列。如果我直接传递select，则select可以正常工作，如果我在字符串中放入相同的表达式并将字符串传递给select，则会失败，并出现错误“无法解析给定列列表的列名”。它以某种方式向字符串添加反勾号，并尝试将完整字符串作为列名查找（而不是计算字符串表达式并将其用作列名） 下面的例子： 这是可行的，historyJoinedDF是一

是否有一种通用方法来更改任何指定StructType的所有元素的可空属性？它可能是嵌套的StructType。 我看到@eliasah将其标记为与Spark Dataframe列可空属性更改重复。但它们是不同的，因为它无法解决层次结构/嵌套结构类型，该答案仅适用于一个级别。 例如： 我想将nullalbe更改为true to all elements，结果应该是： 为了方便测试，随附了Struct

我有如下所示的示例数据，我需要使用spark scala代码将列（ABS，ALT）从字符串转换为数组[structType]。任何帮助都将不胜感激。 在UDF的帮助下，我能够从字符串转换为arrayType，但需要一些帮助来将这两列（ABS、ALT）的字符串转换为数组[structType]。 df。预期架构：

如何在Scala中对Spark StructType执行常规处理，如按名称选择字段、在映射/列表字段上迭代等？ 在spark dataframe中，我有类型为“ArrayType”的列“instances”，具有以下模式： 我需要将ArrayType列“instances”转换为类型为的列“totalExperience” 注：（5 3=8和12 9=21） 等效psuedo代码： 我为此编写了U

有人能分享一下如何将转换为吗？

RDD是以数组[数组[字符串]的格式创建的，具有以下值： 我想用模式创建一个数据帧： 接下来的步骤： 给出以下错误：

我用Avro（序列化器和反序列化器）收到Kafka主题的推文。然后，我创建了一个spark consumer，它在RDD[GenericRecord]的数据流中提取推文。现在，我想将每个rdd转换为数据帧，通过SQL分析这些推文。有什么解决方案可以将RDD[GenericRecord]转换为数据帧吗？

我有一个如下的CSV文件。 我想把这个转化成下面。 基本上，我想在输出数据帧中创建一个名为idx的新列，该列将填充与键=idx，value=“n”后面的行相同的值“n”。

我正在编写一个简单的示例来测试Flink中CEP的新Scala API，使用最新的Github版本1.1-SNAPSHOT。 Pattern只是一个值的检查，并为每个匹配的模式输出一个字符串作为结果。代码如下： 它在1.1-SNAPSHOT下编译和运行，没有问题，但jobmanager输出没有显示该print（）的迹象。即使放松模式条件，只设置“开始”（接受所有事件），也不会返回任何结果。 此外，

我有一个包含结构数组的嵌套源json文件。结构的数量因行而异，我想使用Spark（scala）从结构的键/值动态创建新的数据框架列，其中键是列名，值是列值。 这里有一个由3个结构组成的数组，但这3个结构需要动态地拆分为3个单独的列（3个的数量可能会有很大的变化），我不知道如何做到这一点。 请注意，数组中的每个数组元素都产生了3个新列。 我认为理想的解决方案与本SO帖子中讨论的类似，但有两个主要区别

我是火花和scala新手。我有一个json数组结构作为输入，类似于下面的模式。 我将数组结构展平到下面的示例数据帧 我的最终目标是为数据质量度量的每一列计算存在/不存在/零计数。但在计算数据质量指标之前，我正在寻找一种方法，为每个数组列元素派生一个新列，如下所示： 如果特定数组元素的所有值都为空，则该元素的派生列为空 如果数组元素至少存在一个值，则将元素存在视为1 如果数组元素的所有值均为零，则我

我有一个Scala数据框，它有以下模式： 和数据样本： 我想从这个数组字符串中提取值，其中元素以say SD开头并获取值，然后如果其操作系统获取值。问题是数组字符串中的位置不总是相同的，它不断变化，因此我无法使用 输出应为我提供一个数据帧：

这可能是一个非常基本的问题，但我尝试了各种选择，但都没有成功，因此请求帮助。我想在指定目录中创建一个文件。如果文件已经存在，我想向其添加数据。以下是我尝试的内容： Internet搜索要求使用以下内容： 但是它会在目录内创建空文件，并在目录外创建新文件并附加到它。而且很少有帖子建议不需要使用createNewFile（）来创建文件。 我尝试了如下各种路径格式： 但它仍然不会在目录中创建文件。你能告

嗨，我有我的火花数据帧的输出，它创建文件夹结构并创建零件文件。现在我必须合并文件夹内的所有零件文件并将该文件重命名为文件夹路径名。 这就是我做分区的方式 它创建如下文件夹结构 我必须创建这样的最终文件 此处没有零件文件bith 001和002合并为两个一个。 我的数据大小非常大300 GB gzip和35 GB zip，因此变得非常慢。 我在这里看到了一个使用spark CSV编写单个CSV文件的