《同花顺》专题

我试图在所有节点都安装了Java1.7的集群上使用spark-submit运行java spark作业。 作业失败，返回java.lang.UnsupportedClassVersionError：com/WindLogics/DMF/Wether/MyClass：Unsupported Major.Minor版本51.0。 此外，当主机设置为Local时，作业也可以正常工作。如何进行调试和修复此

Spark streaming以微批量处理数据。 使用RDD并行处理每个间隔数据，每个间隔之间没有任何数据共享。 但我的用例需要在间隔之间共享数据。 > 单词“hadoop”和“spark”与前一个间隔计数的相对计数 所有其他单词的正常字数。 注意：UpdateStateByKey执行有状态处理，但这将对每个记录而不是特定记录应用函数。 间隔-1 输入： 输出： 火花发生3次，但输出应为2（3-1

我在尝试将spark数据帧的一列从十六进制字符串转换为双精度字符串时遇到了一个问题。我有以下代码： 我无法共享txs数据帧的内容，但以下是元数据： 但当我运行这个程序时，我得到了一个错误： 错误：类型不匹配；找到：MsgRow需要：org.apache.spark.sql.行MsgRow（row.getLong（0），row.getString（1），row.getString（2），hex2in

我有一些关于Kafka主题分区->spark流媒体资源利用的用例，我想更清楚地说明这些用例。 我使用spark独立模式，所以我只有“执行者总数”和“执行者内存”的设置。据我所知并根据文档，将并行性引入Spark streaming的方法是使用分区的Kafka主题->RDD将具有与Kafka相同数量的分区，当我使用spark-kafka直接流集成时。 因此，如果我在主题中有一个分区和一个执行器核心，

我尝试使用Spark Streaming并希望有一个全局状态对象，可以在每个批处理后更新。据我所知，至少有两种选择适合我：1。使用，其中Spark将在处理每个批处理后自动更新状态2。使用函数，在这里我必须自己调用更新 类型javapairdStream 中的方法updateStateByKey(Function2 ,optional ,optional >)不适用于参数（new function2

有没有关于为什么整个对象B需要序列化的想法？ 关于“对象不可序列化”的异常：

全能的开发者们。我在Spark中运行一些基本的分析，在这里我查询多节点Cassandra。我正在运行的代码以及我正在处理的一些非链接代码是： Spark的版本是1.6.0，Cassandra v3。0.10，连接器也是1.6.0。键空间有，表有5列，实际上只有一行。如您所见，有两个节点（OracleVM中制作的虚拟Macine）。 我的问题是，当我测量从spark到cassandra的查询时间时，

我尝试使用Spark2.3本机kubernetes部署特性在kubernetes集群上运行简单的spark代码。 我有一个kubernetes集群在运行。此时，spark代码不读取或写入数据。它创建一个RDD from list并打印出结果，只是为了验证在Spark上运行kubernetes的能力。此外，还复制了kubernetes容器映像中的spark应用程序jar。 2018-03-06 10

我不能用火花流运行Kafka。以下是我迄今为止采取的步骤： > 将此行添加到- Kafka版本：kafka_2.10-0.10.2.2 Jar文件版本：spark-streaming-kafka-0-8-assembly_2.10-2.2.0。罐子 Python代码： 但我仍然得到以下错误： 我做错了什么？

我刚刚安装了。我试图将添加到测试中，但遇到错误 ReferenceError:未定义beforeAll 查看堆栈跟踪时，我看到jasmine 1.3.1是量角器的子模块: C：\用户\bmackey\AppData\漫游\npm\node_modules\量角器\node_modules\mini jasminenode\lib\jasmine-1.3.1.js:913： 21 jasmine 2

我正在尝试使用spark submit server2运行spark程序。py——主本地[2]。然后我得到了这个错误： 以下是我正在运行的代码： 谁能帮我一下我做错了什么。我试过这篇文章中的解决方案无法初始化spark上下文，但它不起作用。

我有以下代码，它从Marketo系统中获取一些数据 这将返回给我以下数据 我想做的是，保存这个返回到一个拼花文件。但是当我用下面的代码尝试时，我收到了一条错误消息。 我做错了什么？

我已经看到了一些关于数据库到雪花的问题，但我的问题是如何将表格从雪花到数据库。 到目前为止我所做的：创建了一个集群并将集群附加到我的笔记本上（我正在使用Python） 然后我试着用spark.read读取雪花中的FBK _视频表: 我也尝试过：选项（“dbtable”，“从FBK_VIDEOS中选择*”）.load（） 但我看到的以下错误： net.snowflake.client.jdbc.Sn

我试图利用火花分区。我试图做这样的事情 这里的问题每个分区都会创建大量的镶木地板文件，如果我尝试从根目录读取，则会导致读取缓慢。 为了避免这种情况，我试过 但是，这将创建每个分区中镶木地板文件的数目。现在我的分区大小不同了。因此，理想情况下，我希望每个分区都有单独的合并。然而，这看起来并不容易。我需要访问所有分区合并到一定数量并存储在单独的位置。 我应该如何使用分区来避免写入后出现许多文件？

我正在运行以下scala代码： 我知道firstStruct是structType，StructFields的一个名称是“name”，但在尝试强制转换时似乎失败了。我被告知spark/hive结构与scala不同，但为了使用structType，我需要 所以我想他们应该是同一种类型的。 我看了看这里：https://github.com/apache/spark/blob/master/sql/c