《烽火》专题

我已经读过类似的问题，所以，没有答案张贴，此外，我的错误确实似乎是不同的细节。 当我跑的时候 我收到以下错误： 我正在、和上运行，所以我不认为这是一个版本问题。我猜它可能是部分，在那里它正在寻找浏览器。

我有一个spark工作，处理大量数据并将结果写入S3。在处理过程中，我可能有超过5000个分区。在写入S3之前，我想减少分区的数量，因为每个分区都是作为一个文件写入的。 在其他一些情况下，处理过程中可能只有50个分区。如果我想合并而不是因为性能原因重新分区，会发生什么。 从文档来看，它说只有当输出分区的数量少于输入时才应该使用coalesce，但是如果不是，它似乎不会导致错误吗？它会导致数据不正确

我按照 https://stackoverflow.com/a/38626398/565212 中的说明将SNS连接到FCM到Android应用程序。部署到模拟器时，应用将初始化，但不会收到任何消息。同一应用程序在我实际的Nexus 6设备上正常工作并接收消息。为什么会有这种差异？

我正在寻找（一些测试没有成功）在不使用UDF的情况下从case语句返回元组结构类型，有什么方法可以做到这一点吗？ 用例是:我们有两列依赖于case表达式中的相同条件，因此我们看到两个选项: 写入相同条件两次，但返回不同列（不需要） 写一次条件，但每次都返回2个值，这可以通过一个元组，然后我们将其拆分 我知道这可以使用UDF来完成，但是我们避免了UDF，因为被火花视为黑盒，因此它们是不可优化的，所以

也就是说，我希望截距为4，权重为(2，3)。 如果我运行linearregressionwithsgd.train（...）在原始数据上，模型是： 而且预测都是南：

如何将多个列对分解为多行？ 我有一个包含以下内容的数据帧 我想要一个最终的数据帧，如下所示 我试着使用下面的代码，但是它返回了4条记录，而不是我想要的两条记录

是否有可能在火花中将多个列爆炸成一个新列？我有一个如下所示的数据框： 期望输出： 到目前为止，我尝试过： 这不起作用。非常感谢您的任何建议。

我刚开始学火花。我试图为我的数据帧定义一个UDF。这是一个非常简单的函数：列是dataframe中的长类型。 它总是报告错误：

我有一个要求，火花UDF必须超载，我知道UDF超载是不支持火花。因此，为了克服spark的这一限制，我尝试创建一个接受任何类型的UDF，它在UDF中找到实际的数据类型，并调用相应的方法进行计算并相应地返回值。这样做时，我得到一个错误 以下是示例代码： 有可能使上述要求成为可能吗？如果没有，请建议我一个更好的方法。 注：Spark版本-2.4.0

我试图从列列表中获取最大值，以及具有最大值的列的名称，如这些帖子中所述PySpark：计算列子集的行最大值并添加到现有的数据帧 中如何获取pyspark数据帧中具有最大值的列的名称我已经查看了许多帖子并尝试了许多选项，但尚未成功。 列对象不可调用TypeError：“列”对象不可调用，请使用SusCol列并传递多列Pyspark：在UDF中传递多列 加载到数据帧Rule_Total_Score的表

我有一个包含字符串的Spark数据帧，我使用Likert量表将这些字符串与数字分数进行匹配。不同的问题id对应不同的分数。我尝试在Apache Spark udf中的Scala范围内进行模式匹配，使用这个问题作为指导: 如何在Scala的一个范围内进行模式匹配？ 但是当我使用范围而不是简单的OR语句时，我遇到了编译错误，即 ＜code＞31|32| 33|;34 无法编译。任何想法，我在语法上出错

我目前正在使用上面的UDF将一列字符串解析成一个键和值的数组。“50:63.25，100:58.38”到[[50，63.2]，[100，58.38]]。在某些情况下，字符串是“\N”，我无法解析列值。如果字符串是“\N”，那么我应该返回一个空数组。有人能帮我处理这个异常或帮我添加一个新的案例吗？我是spark-scala的新手。 错误：scala.MatchError：[Ljava.lang.St

这个函数的作用是将字符串列解析为键和值的数组。""to。这是我的UDF，它创建了一个包装的int和Double结构元素数组。 有些情况下，输入字符串的格式不正确，我会得到一个错误:输入字符串的< code > Java . lang . numberformatexception :因为“< code>k.trim.toInt”无法转换像“< code>.01-4.1293”这样的脏数据，这是一个

我们如何使用scala使用OR操作将布尔列折叠成一行？ 第1部分： 期望输出 我能想到的一个解决方案是按第一列条目对它们进行分组，filter true 这个解决方案相当混乱。此外，不知道这是否适用于所有边缘情况。有什么聪明的方法可以做到这一点吗？ 编辑：给定的答案适用于上述给定的场景，但不适用于此场景。有什么方法可以实现所需的输出？ 第2部分： 期望输出 我试图通过col1和col2分组，然后用

我们希望以版本不可知的方式为我们的spark作业加载< code > org . Apache . spark:spark-avro _ 2.12 包。 有的人在用火花3.1.2，有的人在用3.2.0。 对于3.1.2上的那些，我需要加载： 对于3.2.0上的，我需要加载： 我是否可以实现一种通用机制来根据火花版本加载正确的jar，而无需我的用户在他们那端做任何事情？ 我不介意在本地保存所有版本的