《scala》专题

当Play/Maven项目处于工作区时，我的eclipse ide或scala ide（直接从scala站点下载）有两种情况会崩溃。 问题是： 1）安装Scala IDE 4.7。导入现有的Play/Maven项目。注意到IDE错误日志中的Scala编译器错误。重新启动时，您会发现eclipse不能引导相同的工作区。它可以引导其他工作区。即使我从play-maven项目中删除所有eclipse文件

我想根据X列重新划分spark dataframe。假设X列有3个不同的值(X1，X2，X3)。不同值的数量可能会变化。 我希望一个分区包含只有1个X值的记录。也就是说，我想要3个分区，其中1有x=x1的记录，其他的有x=x2，最后一个有x=x3的记录。 我正在做的重新划分 但是，我在DF中的分区并没有像预期的那样出现。由于一个分区为空，第二个分区包含X1的记录，第三个分区同时包含X2和X3的记录

尽管我的最大可用堆大小似乎大于我认为我需要的粗略内存量，但我还是尝试通过来增加堆大小([4])。虽然这解决了我的问题，但最好知道是否有更好的方法来创建这种随机数据，从而避免我不得不增加JVM可用的内存？因此，我有以下三个问题，如果有人能回答，我将不胜感激： > 在Scala中，尤其是在Scala shell中，垃圾回收何时发生？在上面的命令中，有什么可以收集，那么为什么要调用GC（对不起，第二部分

我有一个dataframe，格式如下 我希望在字符串之后获得数值，并创建一个新列。 org.apache.spark.sql.analysisException：由于数据类型不匹配，无法解析“split(,'value\:(\d+)”）“：参数1要求字符串类型，但是”“是数组类型。；；

这是在添加列后拍摄的快照，但它不包含一列所有值的总和 我试图在dataframe中添加一列，该列包含同一dataframe中一列的所有值之和。 wa_rating=(rating>3)/总ratings 请帮我找到wa_rating dataframe，它包含一个新列，并使用scala spark

我有一个函数，它接受一个字符串参数，并对其进行“匹配”以确定返回值，如下所示- 编辑（完成功能）：

我有一个JSON文件，如下所示： 我想为此创建模式，如果JSON文件是空的()，它应该是空字符串。 但是，当我使用时，df输出如下： 有人能告诉我为什么和如何解决这个问题吗？

我通过连接单独的月、日、年和时间列创建了日期列，但是月和日列的输入数据形式为1，而不是01表示月和日。这是我返回空列的原因吗？还是有其他原因？如果这就是原因，那么如何将日和月列从1改为01、2改为02、…？ 这是我第一次使用时间戳，而且我是Scala新手，所以我非常感谢您的帮助。

但是得到这个错误 org.apache.spark.sql.analysisException：无法解析“(current_timestamp()-unix_timestamp(，'yyyy-mm-dd hh:mm:ss'))”，原因是数据类型不匹配：“(current_timestamp()-unix_timestamp(，'yyyy-mm-ss'))中的类型不同（timestamp和bigin

上面的代码失败，因为是布尔变量，聚合不能应用于布尔变量。Spark中是否有一个函数将Spark数据帧的整列的值转换为，并将转换为。 我尝试了以下方法（源代码：如何在Spark SQL的DataFrame中更改列类型？）

由于正在崩溃，如果传递的列有或以外的其他类型，并且我正在处理大量列，我想知道： 有没有一种简单的方法，一次强制转换多个列？

我有一个dataframe，其架构如下：

null 提前谢了。

在第一个窗口row_number1到4中，新的秩（新列）将是 在第一个窗口row_number5到8中，新的秩（新列）将是 在第一个窗口中，Row_Number9要Rest，新的秩（新列）将是 但这给了我： 此外，尝试了。rowsbetween(-3,0）但这也给我带来了错误：

这是怎么回事？我不明白count（）是如何既等于withCallback又有一个主体的；不知何故，它是在withCallback返回的dataframe上调用的，但我不明白语法。