《scala》专题
-
当列包含彼此对齐的数组时，如何在Spark Scala数据框中爆炸数组的多列？
我在制定这个问题时遇到了一点麻烦，但我会尽力解释。我了解如何分解数组的单个列，但我有多个数组列，其中数组在索引值方面彼此对齐。在我的数据帧中，分解每列基本上只是执行无用的交叉联接，从而导致数十个无效行。因此，我将从展示数据开始。 这显示了 SparkNLP 的一些结果，其中包含一些文本和文本的四组功能。从 tr 到 nr 的每一列都包含一个数组。这些数组中的每一个都与其他数组对齐。 我想要的是一个
-
scala spark使用spark shell中的udf函数在dataframe列中进行数组操作
scala/火花在火花外壳中使用udf函数在数据框列中进行数组操作 < code>df.printSchema 样本数据： 在udf.jar，我有这个函数来获取上限日期在date_arr根据x： 添加jar到火花外壳： 在火花外壳，我有HiveContext作为，并创建函数： 当我进行查询时：，期望有一个这样的数据帧： 但是，它会抛出以下错误： 组织 apache.spark.sql.Analys
-
如何访问dataframe列中的数组元素(scala) [duplicate]
中的第一列是一个。我需要选择第一个元素而不是数组而不是完整数组，同时我选择纬度和经度： 数据帧应如下： 你能告诉我是否有可能编辑命令来访问数组元素吗？
-
创建Spark exists用户定义函数，其工作方式类似于Scala Array#exists函数
Scala有一个Array#exists函数，工作原理是这样的: 我想创建一个类似的火花存在功能。假设我们有以下< code>sourceDF: 我希望能够写出这样的东西: 这是我写的代码： 我理解为什么我的代码不工作。UDF需要列参数，匿名函数不是列对象。在＜code＞lit＜code＞中包装匿名函数不起作用： 如何使此代码正常工作？
-
Scala：“协变类型R出现在不变位置”的原因是什么？
给定以下示例代码： 编译器将给出以下错误： 所以一个gen[R,K]可以是gen[T,R]和gen[T,R1]的.follow（）的参数。但Gen[R1,K]只能是Gen[T,R1]的.follow（）的参数,如果应用于Gen[T,R2]或Gen[T,R],则会触发编译错误。不需要将GEN[R/R1,K]中的R或R1设置为逆变来完成它的工作。 我看不到一个可以通过编译而在运行时失败的案例。你觉得呢
-
scala特性中的specs2模拟方法从未验证
我正在尝试模拟我与外部API的交互，该API检查令牌以查看用户是否有权执行某些操作（它目前是一个单独的API作为PoC，稍后将移动到中间件中） 受抚养人（SBT DSL） 测试 代码 代码使用了一个MyHandler类，该类扩展了trait : 错误 当我运行代码时，我看到以下错误： 我如何确保我可以： a）将身份验证代码移动到MyHandler中，并使用Specs2提供的Mockito对MyHa
-
Apache Kafka Java生产商Scala消费者缺少流
我用的是阿帕奇·Kafka。我创建了一个war文件，其中生产者用Java编码，消费者用Scala编码。制作人正在从HTML页面获取数据。我可以看到，生产商发布的大部分数据都是关于消费者的，但有些数据缺失。 这是我的制片人代码 文件1 } 文件2 现在，我使用以下命令检查消费者的消息。 我是否缺少任何生产者配置？
-
如何从Kafka主题转储avro数据并在Java/Scala中读回
我们需要从Kafka主题导出生产数据以用于测试目的：数据用Avro编写，模式放在模式注册表中。 我们尝试了以下策略： 使用和或。我们无法获得可以用Java解析的文件：解析时总是出现异常，这表明文件格式错误。 使用:它生成一个还包括一些字节的json，例如在反序列化BigDecimal时。我们甚至不知道要选择哪个解析选项（不是avro，也不是json) null 使用Kafka连接接收器。我们没有找
-
Scala在断开字符串后返回UDF中的多列
我正在尝试分解一个字符串（从技术上讲，是从数据帧中的列传递的字符串），并将这些损坏的字符串作为列表返回到数据帧。斯卡拉版本 2.11。我更喜欢带有udf的斯卡拉或pyspark解决方案 - 因为udf内部发生了很多事情。 假设我有一个数据框架: 我想要的结果（在udf中，因为那里发生了很多事情;斯卡拉版本 2.11） -- 编写一个udf来打破这个并返回列表-但是，我不知道如何定义或传递模式以将结
-
在火花 Scala UDF 中定义返回值
想象一下下面的代码： 如何定义myUdf的返回类型，以便查看代码的人立即知道它返回了一个Double？
-
在scala中传递两列给udf？
我有一个包含两列的数据帧，一列是数据，另一列是该数据字段中的字符计数。 我想根据count列中的值更改列数据的值。如何实现这一点？我尝试使用一个udf: 这似乎是失败的，这是正确的做法吗？
-
udf spark Scala返回案例类
如何只在pos时返回case类
-
Scala-Spark:不能使用UDF
我在Spark（Scala）中使用UDF遇到问题。这是一个示例代码： 我得到的错误与ClassCastException有关，表示不可能从＜code＞scala.collection.mutable强制转换。WrappedArray$ofRefto。我在下面添加了堆栈的一部分。如果有帮助，我正在使用https://community.cloud.databricks.com/.
-
在Eclipse IDE中从SPARK SCALA MAVEN项目创建JAR时出错
我为Spark Scala创建了一个maven项目，并编写了一些代码。我必须将它绑定为一个JAR文件，并从边缘节点（shell环境）运行它。但我正面临以下错误。请告知 [ERROR]无法执行目标org.scala-tools：maven-scala-plugin:2.11:compile（default）在项目XYZ上：目标org:Execution default.scala-tools：mav
-
如何打包spark scala应用程序