《烽火》专题

昨天，当我尝试将集成测试从嵌入式 GF 4 移动到远程 Wildfly 8 时，对于针对远程 Wildfly 8 实例运行的每个 arquillian 测试，我都得到了奇怪的 。同样的集成测试在嵌入式玻璃鱼4.0上工作得很好。 我的测试用例非常简单（使用单个类部署），不需要在这里发布 使用的组件： 阿奎利安 1.1.5.决赛 野蝇 8.0.0.最终版 日食月神 无论以什么方式启动我的测试用例（从E

我正在尝试了解这个位置的scala代码。（我来自java背景）。 https://github.com/apache/spark/blob/master/examples/src/main/scala/org/apache/spark/examples/GroupByTest.scala 我在下面的部分感觉完全迷失了 我知道并行化和平面映射的作用。我不明白arr1是如何初始化的。它是 int 类型

我正在尝试 https://github.com/apache/spark/blob/v2.0.1/examples/src/main/scala/org/apache/spark/examples/sql/streaming/StructuredNetworkWordCountWindowed.scala 个例子。 但是，指定端口号处的输入应该是什么？

我想做的是：我将Spark 2.3.0与graph x一起使用。我有一个类似于菜单结构的简单DF，如下所示：菜单结构。当我使用以下代码创建一个具有三个顶点属性（Int、String、String）的图形来创建顶点RDD时，它工作得非常好： 然后，我使用下面的代码对四个属性(Int、String、String、String)进行完全相同的尝试: ...然后抛出类型不匹配错误: 到目前为止，我尝试过：

我处理了像这样存储的双精度列表： 我想计算这个列表的平均值。根据文档，： MLlib的所有方法都使用Java友好类型，因此您可以像在Scala中一样导入和调用它们。唯一的警告是，这些方法采用Scala RDD对象，而Spark Java API使用单独的JavaRDD类。您可以通过对JavaRDD对象调用.RDD（）将JavaRDD转换为Scala RDD。 在同一页面上，我看到以下代码： 根据我

我尝试使用I forest https://github.com/titicaca/spark-iforest,的scala实现，但是当我构建时(就像README中报告的< code>mvn clean package)，它给我这些错误: 有人知道为什么吗？谢谢 scala版本2.11.12 火花版本2.4.0 maven版本3.5.2 我修改了pom.xml，调整了scala、spark和mav

我对Apache Spark的世界比较陌生。我正在尝试使用LinearRegressionWithSGD（）来估计一个大规模模型，我希望在不需要创建庞大的设计矩阵的情况下估计固定效果和交互项。 我注意到在决策树中有一个支持分类变量的实现 https://github.com/apache/spark/blob/master/mllib/src/main/scala/org/apache/spark

阅读 https://github.com/apache/spark/blob/master/mllib/src/main/scala/org/apache/spark/mllib/feature/Word2Vec.scala 这种实现的文字是谷歌Word2Vec的一个端口 https://code.google.com/archive/p/word2vec/ 这是“向量空间中单词表示的有效估计”

这个问题与这个主题有关： Spark 2.2 Scala 数据帧从字符串数组中选择，捕获错误 我需要区分缺少列的记录（这在我的用例中不是错误）和具有不适用于列类型的垃圾值的记录。 在执行selectExpr之后，这两种情况在结果数据帧中都显示为null。我正在寻找一种快速的方法，将缺少列的记录包含在好的结果中，同时将具有垃圾值的记录放入坏桶中。不好的可能包括像一个值为空字符串的int字段，或者“a

我想创建一个带有分区的hive表。 该表的架构为： 我可以使用Spark-SQL实现这一点: 当我尝试使用 Spark API（使用斯卡拉）时，表中充满了数据。我只想创建一个空表并定义分区。这就是我正在做的事情，我做错了什么： 我正在使用Spark-2.1.1。

我在使用Spark通过自定义JDBC读取数据时遇到了一个问题。我如何重写通过jdbcurl推断的sql方言？ 有问题的数据库是vitess(https://github.com/youtube/vitess ),它运行一个mysql变体，所以我想指定一种mysql方言。jdbc url以jdbc:vitess/开头 否则，数据帧读取器将推断出使用“”作为引号标识符的默认方言。因此，通过 spark

我在使用 Spark 流式处理示例时遇到问题：https://github.com/apache/spark/blob/master/examples/src/main/scala/org/apache/spark/streaming/examples/HdfsWordCount.scala 当我尝试使用 SBT 启动它时 我有这个例外 我确定该目录存在于Hadoop fs上，我甚至在那里复制了一

我想从Spark v.1.6（使用scala）数据帧创建一个JSON。我知道有一个简单的解决方案，就是做。 但是，我的问题看起来有点不同。例如，考虑具有以下列的数据帧： 我想在最后有一个数据帧 其中C是包含、、的JSON。不幸的是，我在编译时不知道数据框是什么样子的（除了始终“固定”的列和）。 至于我需要这个的原因：我使用Protobuf发送结果。不幸的是，我的数据帧有时有比预期更多的列，我仍然会

我正在使用spark(批处理，而不是流)从kafka topic中读取数据来创建spark dataframe。我想使用spark将这个数据帧加载到cassandra。Dataframe是字符串格式，如下所示。 root |-value:string(nullable = true) 我尝试使用'，'分隔符拆分数据帧记录，并形成新的数据帧，我可以将其数据到cassandra。 创建了如下的火花DF

我正在一个playscala应用程序中从1.6升级到spark 2.0，不太确定如何设置我想要的jar文件。以前会定义一个SparkConf，我可以调用的方法之一是setJars，它允许我指定我想要的所有jar文件。现在我正在使用SparkSession构建器构建我的spark conf和spark上下文，我没有看到任何类似的方法来指定jar文件？我该怎么做？ 这是我之前如何创建我的火花会议： 我