《scala》专题

我已经使用google-guice和辅助注射机制有一段时间了。因为我在scala，刚刚发现scala-guice，我也对使用它感兴趣。但是我对如何使用辅助注射感到困惑。没有使用辅助注射的例子。 因此，我的问题是：是否可以使用scala guice辅助注射，如果可以，请提供一个简单的例子？ 此外，对于google-guice，我使用以下库：javax.inject.jar、guice-3.0.jar

背景： 我已经阅读了大量关于如何使用ConfigurationProperties从config中读取列表的示例。。见下文 将Yaml中的列表映射到Spring Boot中的对象列表 https://github.com/konrad-garus/so-yaml https://www.boraji.com/spring-boot-configurationproperties-example .

下面是Scala中的代码。我正在使用spark sql从hadoop中提取数据，对结果执行一些分组，序列化它，然后将消息写给Kafka。 我已经写了代码--但我想用函数的方式来写。我是否应该创建一个具有“get categories”函数的新类来从Hadoop中获取类别？我不知道如何处理这件事。 这是代码 提前谢谢你，苏约格

我想从测试目录中的协议文件生成代码。 这行不通。 看起来scalapb只为main/protobuf目录中的proto生成文件。

大家好，我想在数据帧的每一行中使用现有列添加新列，我正在Spark Scala中尝试这样做。。。df是包含可变列数的数据帧，只能在运行时确定。 但这个错误是eclipse本身 无法找到存储在数据集中的类型的编码器。通过导入spark.implicits.支持原始类型（Int，String等）和产品类型（case类）_将在未来版本中添加对其他类型序列化的支持。 方法映射没有足够的参数：（隐式证据7美

我有一对看起来像 第二个元素是一个字符串，我从函数get（）从http://alvinalexander.com/scala/how-to-write-scala-http-get-request-client-source-fromurl.这里是函数： 现在我想把这个字符串转换成json，从中获取图片url。（来自此）https://stackoverflow.com/a/38271732/14

我在Scala/Spark（1.5）和齐柏林飞艇上遇到了一个奇怪的问题： 如果我运行以下Scala/Spark代码，它将正常运行： 但是，在声明了此处建议的自定义数据帧类型之后 使用它的例子如下： 这次运行成功。 现在如果我再次运行下面的代码（同上） 我收到了错误信息： rdd:org。阿帕奇。火花rdd。RDD[Int]=ParallelCollectionRDD[8]位于parallelize

从Spark 1.6迁移到Spark 2.2*会在尝试对查询拼花地板表返回的数据集应用方法时出现错误“错误：无法为“数据集”中存储的类型找到编码器。基本类型（Int、String等）。为了证明同样的错误，我对代码进行了过度简化。代码查询拼花地板文件以返回以下数据类型：“org”。阿帕奇。火花sql。Dataset[org.apache.spark.sql.Row]“我应用一个函数来提取字符串和整数

下面的程序尝试为每个ROW（在RDD映射中）调用3个函数： 但也有一些错误： 组织。阿帕奇。火花SparkException:任务在组织中不可序列化。阿帕奇。火花util。ClosureCleaner美元。EnsureCleaner.scala:304）可在org。阿帕奇。火花util。ClosureCleaner美元。org$apache$spark$util$ClosureCleaner$$c

我有一个数据框，它是带有json字符串的json列。下面是一个例子。共有3列-a、b、c。c列为stringType 我想把它们变成数据帧（pivot）的列。下面的例子-

我有一个带字符串类型列的数据帧，这个字符串是JSON格式，我想根据这个JSON格式将这个列转换为多个列。如果我有JSON模式，我可以这样做，但是我没有。 例子： 原始数据帧： 转换/解析后 我正在使用ApacheSpark 2.1.1。

这里是Scala新手。我在齐柏林飞艇笔记本上写了一份Spark作业的草稿。我使用数据集api，这样在执行

当我运行Spark Scala程序时，有一个“Task not serializable”异常 Spark RDD是不可串行化类型（java类） 调用的函数来自不可序列化的类（java类，再次） 我的代码是这样的 我注意到我可以用 但对于RDD中的对象类，我仍然会遇到这个例外。我会以另一种方式，也会以另一种方式，也就是第二部分，因为我不想创建大量PredicateClass的对象。 你能帮我吗？我

在scala中，我想禁用许多case类的可序列化特性，因为我希望这类对象永远不会被序列化，并在分布式计算框架（特别是ApacheSpark）中发送到远程计算机，当包含它的任何闭包被序列化时，任何这样做的实现都应该触发显式运行时异常。 我尝试过@transient null check，它在反序列化时触发运行时异常（不是我想要的），错误信息非常模糊。有什么方法可以改善这一点吗？ 非常感谢你的建议！

首先，我使用的是scala 2.10.4，上面的例子是在Spark 1.6中运行的（尽管我怀疑Spark与此有关，但这只是一个序列化问题）。 所以我的问题是：假设我有一个trait，它由两个类实现，比如说和。现在，我有一个泛型特征，它由一组类扩展，其中一个类位于的子类型之上，例如（这里我保留了Spark对RDD的概念，但一旦序列化，它实际上可能是另一个类；不管实际情况如何，它都只是一个结果）： 现