《scala》专题
-
用scala表示嵌套结构
从另一个角度看这3行： 编辑：注意表有2000列，是否可以动态创建一个类（或向类添加属性），例如在Scala中从外部文件加载字段名和类型？我知道case类仅限于22个字段 Edit2:还要注意，任何属性都可以有多行（rowkey除外），即orderid、name、amount、supplier、account和1995+其他列，所以为所有这些属性创建单独的“singleline”类是不可行的，我正
-
如何在spark Scala中将模式从另一个文件添加到文件中
val file=header.unionall（lines）.todf（）
-
在Spark-Scala中进行迭代连接有其他方法吗
用例是在给定列中找到最多n行（可以是n列数），一旦有了n个键，就可以将其连接回原始数据集，以获得所需的所有行
-
scala dataframe中的collect_list，它将在固定列号的间隔内收集行
我要求将特定分区的所有行收集到DataFrame中的单个行中。我必须将此数据frame转储到cosmosDB中，每个文档只能容纳2MB的数据。但是当我将上面的数据集收集到一行中时，它超过了2MB，并且在写入CosmosDB时抛出了错误。 我想把行收集成一个固定的500行间隔。对于一个分区，前500行应该被收集到一行中，后500行应该被收集到另一行中，依此类推。 输入数据如下所示。 我尝试了如下所示
-
spark scala中对多个文件的同时操作
我在textfile中有一个id列表=id1、id2、id3等 每个id都与repo中的csv dataframe相关联：“/home/data/”+idX+“/*.csv” 我试着做这样的事情却没有结果： 谢谢你的帮助
-
Scala Akka HTTP强制转换参数为java.time.ZonedDateTime
我正在使用Akka HTTP（在Scala中）开发一个REST服务。我希望传入http get请求的参数转换为ZonedDateTime类型。如果我尝试使用String或Int但在使用ZonedDateTime类型时失败，则代码可以正常工作。代码如下所示： 下面是我看到的错误： 如果我向列表中添加多个参数,我会得到一个不同的错误： 下面是一个代码片段，它将重现我看到的问题
-
Intellij Scala-找不到Scala应用程序
我刚刚在Intellij中设置了Scala（以及SDK和JDK） 文件- 创建了一个项目。 项目名称src下-- 我做错了什么。请帮忙
-
异常线程"main"java.lang.NoClassDefFoundError： scala/Products$class（Java）
我运行了一个用Java编写的Spark流媒体程序来读取Kafka的数据，但是我遇到了这个错误，我试图找出可能是因为我使用scala或Java的版本太低。我使用了JDK版本15，但仍然出现了这个错误，有人能帮我解决这个错误吗？非常感谢。 这是我运行项目时的终端： 这是项目的文件pom.xml： 这是项目的文件主体：
-
Spark：java.lang.NoClassDefFoundError： scala/集合/可变/ArraySeq$ofRef
我试图运行一个简单的字数计数程序与和得到一个例外。 异常线程"main"java.lang.BootstrapMultiodError：java.lang.NoClassDefFoundError： scala/集合/可变/ArraySeq$ofRef at SparkWordCount$. main（SparkWordCount.scala:18） 从第18行开始的代码是 我的环境： Windo
-
来自kafka的Flink消耗消息scala不能平面图
我试图遵循示例：https://blog.knoldus.com/a-quick-demo-kafka-to-flink-to-cassandra/我试图从kafka解析我的Shippingorder JSON消息并将其解析为对象。然后按一些属性对其进行分组，但在平面图步骤时出现错误。 我的sbt文件： 我的主文件。 我的订单对象 运行此作业时出错 我不知道这个错误。请解释并帮助我解决这个问题。
-
从Kafka阅读到Flink Scala Shell
我试图连接到我的本地机器上的Kafka（2.1），并在Flink（1.7.2）附带的scalashell中读取。 下面是我正在做的： 之后，最后一条语句我得到了以下错误： 我已经创建了一个名为“topic”的主题，我能够通过另一个客户端正确地生成和读取来自它的消息。我正在使用java版本1.8.0\u 201，并遵循https://ci.apache.org/projects/flink/flin
-
当struct type的struct字段与spark scala中的特定值匹配时，从structs数组中检索struct
我正在使用spark 2.3，我有一个具有以下模式的数据框架 如果您注意到自定义属性。自定义属性是数组（struct） 现在，我将属性ID设置为“x”。我需要检查属性ID“x”是否存在于数组中的任何结构中，并获取值输出。 我有一个属性ID和列名的列表 假设-如果属性ID为“x”，则获取其值并填充到x列中 下面是属性ID到列的映射x- 如果结构中没有可用的属性，那么只需在该列中设置为null
-
SparkML（Scala）中的并行训练独立模型
假设我有3个简单的SparkML模型，它们将使用相同的数据帧作为输入，但彼此完全独立（在运行序列和使用的数据列中）。 我想到的第一件事是，只需使用阶段数组中的3个模型创建一个管道数组，然后运行总体拟合/变换来获得完整的预测等等。 但是，我的理解是，因为我们将这些模型作为序列堆叠在单个管道中，Spark不一定会并行运行这些模型，即使它们彼此完全独立。 也就是说，有没有办法并行拟合/转换3个独立模型？
-
如何检查空scala.math.BigDecimal？
下面的代码引发NullPointerException。即使有
-
如何解决Eclipse 2019中的Scala错误？
我试图在Eclipse 2019中创建一个基本的scala HelloWorld，但我遇到了一个错误。 下面是我的代码及其产生的错误。有人能帮我解决eclipse中的这个错误吗？谢谢 错误： 线程“main”java中出现异常。lang.NoClassDefFoundError:HelloWorld/hello上的scala/Predef$。HelloWorld美元。main（HelloWorld