如何从本地提交spark作业并连接到Cassandra集群
可以任何一个请让我知道如何提交火花作业从本地和连接到卡桑德拉集群。
目前，我在通过putty登录到Cassandra节点并提交下面的dse-spark-submit job命令后提交了Spark作业。
共有1个答案
你可以说“在本地运行我的工作”是指几件事
以下是我的一些解释
出于几个原因，我不建议这样做，最大的原因是，所有的作业管理仍将在远程计算机和集群中的执行程序之间处理。这相当于让一个Hadoop作业跟踪器运行在不同于Hadoop发行版其他部分的集群中。
dse spark-submit --master spark://sparkmasterip:7077 --conf spark.cassandra.connection.host aCassandraNode --flags jar
dse spark-submit --master spark://sparkmasterip:7077 --deploy-mode cluster --conf spark.cassandra.connection.host aCassandraNode --flags jar
http://spark.apache.org/docs/latest/submiting-applications.html
-
im关注亚马逊文档，向emr集群提交spark作业https://aws.amazon.com/premiumsupport/knowledge-center/emr-submit-spark-job-remote-cluster/ 在按照说明进行操作后，使用frecuent进行故障排除，它由于未解析的地址与消息类似而失败。 错误火花。SparkContext：初始化SparkContext时出错
-
我得到了一个错误：- 线程“main”java.lang.nosuchmethoderror：com.datastax.driver.core.queryoptions.setrefreshnodeintervalmillis（I）lcom/datastax/driver/core/queryoptions；**在com.datastax.spark.connector.cql.defaultCo
-
我目前正在做一个小项目，我需要将kafka集群连接到mongodb，以便将发布到kafka主题的消息存储在mongodb数据库中。我目前有一个本地kafka集群，一个sping引导生产者向一个主题发布消息，一个spinger引导消费者在本地使用这些消息。我也在本地安装了mongob指南针……我一直在看教程，我发现我必须使用某种接收器连接器（mongob连接器）来做我想做的事情，但大多数示例都是基于
-
问题内容： 但是有很多歧义和提供的一些答案…包括在jars / executor / driver配置或选项中复制jar引用。 How ClassPath is affected Driver Executor (for tasks running) Both not at all Separation character: comma, colon, semicolon If provided
-
我是spark和scala的新手，我很难提交一份作为YARN客户的spark工作。通过spark shell（spark submit）执行此操作没有问题：首先在eclipse中创建一个spark作业，然后将其编译到jar中，并通过内核shell使用spark submit，如下所示： 然而，使用Eclipse直接编译并将其提交给YARN似乎很困难。 我的项目设置如下：我的集群运行CDH clou
-
我试图运行一个连接到本地独立spark集群的java应用程序。我使用start-all.sh以默认配置启动集群。当我转到集群的web页面时，它被启动为OK。我可以用SparkR连接到这个集群，但是当我使用相同的主URL从Java内部连接时，我会得到一条错误消息。 下面是Spark日志中的输出：