《scala》专题

我试图模拟Scala单例对象。特别是，我需要模拟对象在服务组件（测试中的类）中使用。使用Mockito这是不可能的，测试执行会以以下方式失败： 在这里阅读，Scalamock似乎允许这样做： 要模拟独立的单例对象，请使用。 我的服务组件是这样的： 我的build.sbt有所有这些依赖关系： 但是我找不到这个： 也许这也可以使用EasyMock和PowerMock实现，但我找不到任何Scala示例代

使用ScalaTest，我想替换测试用例中的函数实现。我的用例： 我想写一个单元测试，但我不希望此测试用例依赖于测试运行的实际年份。 在动态语言中，我经常使用一个可以替换函数实现以返回固定值的构造。 我希望我的测试用例更改始终返回2014，无论实际年份是什么。 我发现了几个模拟库（Mockito、ScalaMock等等），但它们都只能创建新的模拟对象。它们似乎都无法取代方法的实现。 有办法做到吗？

试图创建一个自定义的，我可以通过Jersey注入到我的资源中。 这在本问题的Java中有涉及。我已经阅读了有关这方面的文档，这些文档也是用Java编写的。最后，GitHub中的一些代码涵盖了相同的主题（通过Dropwizard完成）。 这将全部编译，但在运行时失败，出现以下异常 我不知道是我在向Scala的转换中犯了错误，还是我在注册绑定器时做了错误的事情。

我正在尝试对涉及DStreams的Spark Streaming应用程序执行一些单元测试。 我发现下面这套很有用:StreamingSuiteBase。它包含一个名为testOperation的方法，您可以向该方法传递一个输入、一个要测试的操作和一个预期的输出。它将验证您的预期输出是否与实际输出相匹配。 我面临的问题是，在相等验证期间，我确实得到了完全相同的对象，但包装成不同的集合： 预期：列表（

我有一个RDD[标签点]，我想找到标签的最小值和最大值，并应用一些转换，例如从所有这些标签中减去数字5。问题是我已经尝试了各种方法来获取标签，但没有任何工作正常。 如何仅访问 RDD 的标签和功能？有没有办法将它们作为列表[双精度]和列表[向量]例如？ 我无法转到数据帧。

我只想问一下如何在Spark中成功使用checkpointInterval的细节。你在ALS代码中的这个注释是什么意思https://github.com/apache/spark/blob/master/mllib/src/main/scala/org/apache/spark/mllib/recommendation/ALS.scala 如果未在[[org . Apache . spark .

我需要一种从Scala数据框创建hive表的方法。hive表应该具有按日期分区的S3位置的ORC格式的基础文件。 以下是我目前得到的信息: 我以 ORC 格式将 scala 数据帧写入 S3 我可以在S3位置看到ORC文件。我现在在这些ORC文件的顶部创建了一个配置单元表： 但是配置单元表是空的，即 不打印任何结果。 但是，当我删除< code>PARTITIONED BY行时: 我看到了选择查询

我正在用Scala编写一个制作人，我想做批处理。批处理的工作方式是，它应该将消息保持在队列中，直到消息已满，然后将所有消息一起发布到主题上。但不知怎么的，它不起作用了。从我开始发送消息的那一刻起，它就开始一个接一个地发布消息。有人知道如何在Kafka Producer中使用批处理吗。

嗨，我正在尝试从一群执行者那里登录到一个Kafka主题，他们使用ApacheSpark和Log4J以及KafkaAppender。我可以使用基本的文件附加器与执行者登录，但不能登录到Kafka。 这是我的log4j.properties我为此定制的： 这是我的代码（到目前为止）。我试图传递一个记录器定义，以便每个执行者都能得到一个副本，但我不知道为什么它不会传到Kafka： 下面是日志文件的一些示

我们使用编年史地图在大量不同的存储中支持堆外持久性，但在最简单的用例中遇到了一些问题。 首先，以下是我为简化创建而编写的帮助程序： 它使用https://github.com/phatak-dev/java-sizeof进行对象大小估计。以下是我们想要支持的用法类型： 但它抛出了一个例外： [错误]线程“main”java中出现异常。ClassCastException:键必须是int，但它是ja

我正在尝试为DataBricks设置一个开发环境，因此我的开发人员可以使用VSCODE IDE（或其他一些IDE）编写代码并针对DataBricks集群执行代码。 因此，我阅读了DataBricks Connect的文档，并按照文档中的建议进行了设置。https://docs.databricks.com/dev-tools/databricks-connect.html#overview 发布安

我正在尝试使用 azure databricks scala 将数据从 blob 存储加载到 SQL 数据仓库中。 我收到这个错误 潜在的SQLException：-com.microsoft.sqlserver.jdbc.SQLServerException：由于内部错误，外部文件访问失败：“访问HDFS时发生错误：Java调用HdfsBridge_IsDirExist时引发的异常。Java异常

当我试图提交一份工作时，我面临着这个例外。尝试什么？JAR是在Scala 2.10.5上编译的，并使用 Kafka2.10-0.8.2.0。罐子 Kafka客户端-0.8.2.0。罐子 下面是异常的完整堆栈跟踪 JAVAlang.ClassCastException:无法分配scala的实例。同时发生的期间对字段组织的限定。阿帕奇。火花rpc。RpcTimeout。scala类型的持续时间。同时发

Flink版本：1.2.0 Scala版本：2.11.8 我想使用一个数据流来预测使用scala在flink中的模型。我在flink中有一个使用scala的DataStream[String]，其中包含来自kafka源的json格式的数据。我想用这个数据流来预测已经训练过的Flink ml模型。问题是所有flink ml示例都使用DataSet api进行预测。我对flink和scala比较陌生，

我想用Scala计算Flink中流数据的分位数。我的问题类似于但比这一个更简单，flink计算中位数。我认为这可以通过定义一个自定义聚合函数来实现，但我正在寻找一些Scala示例。我已经看了本章中的例子https://github.com/dataArtisans/flink-training-exercises但是没有完全找到我要找的东西。我计算了总和，平均值，我想计算第95个百分位数。 我希望