当前位置: 首页 > 知识库问答 >
问题:

Spark与spring boot web starter的集成

翟奕
2023-03-14

我试图将Spark应用程序与spring boot集成,但由于Spark core也有jetty server和servlet包,它们与spring boot web starter servlet包冲突。

我已经在下面的帖子中排除了初学者日志记录

谢谢

共有1个答案

钱欣悦
2023-03-14

我很久以前就找到了解决方案,但不能发布这个。我不得不从spark-core中排除一堆包含servlet包的包

 compile(group: 'org.apache.spark', name: 'spark-core_2.11', version: '1.6.0') {
    exclude group: 'org.slf4j', module: 'slf4j-simple'
    exclude group: 'org.eclipse.jetty', module: 'jetty-server'
    exclude group: 'com.sun.jersey', module: 'jersey-server'
    exclude group: 'com.sun.jersey', module: 'jetty-core'
    exclude group: 'org.eclipse.jetty.orbit', module: 'javax.servlet'
    //exclude group: 'org.eclipse.jetty', module: 'jetty-server'
}
 类似资料:
  • 我想把Nifi flowfile发送到Spark,在Spark中做一些转换,然后再把结果发送回Nifi,这样我就可以在Nifi中进行进一步的操作。我不想写flowfile写到数据库或HDFS,然后触发火花作业。我想直接将flowfile发送到Spark,并直接从Spark接收到NIFI的结果。我尝试在Nifi中使用ExecuteSparkInteractive处理器,但我被卡住了。任何例子都是有帮

  • 我试着检查在Ubuntu下安装spark是否需要set HADOOP_HOME;但是,没有设置HADOOP_HOME,请仔细检查JAR的参数。 线程“main”java.lang.NullPointerException(位于org.apache.hadoop.fs.path.getName(Path.java:337)(位于org.apache.spark.deploy.deploy.deplo

  • null null 为什么要使用UDF/UADF而不是map(假设map保留在数据集表示中)?

  • 我在Databricks上阅读下面的博客 https://databricks.com/blog/2015/03/30/improvements-to-kafka-integration-of-spark-streaming.html 在解释spark-kafka集成如何使用WAl接收器的过程时,它说 1.Kafka数据由在火花工作线程/执行程序中运行的Kafka接收器持续接收。这使用了Kafka

  • 我得到了一个错误:- 线程“main”java.lang.nosuchmethoderror:com.datastax.driver.core.queryoptions.setrefreshnodeintervalmillis(I)lcom/datastax/driver/core/queryoptions;**在com.datastax.spark.connector.cql.defaultCo

  • 我想通过ApacheSpark从Apache Hive中检索行,并将每一行放入Aerospike缓存。 这里有一个简单的案例。 我得到一个错误: 显然,我无法将序列化。我试图添加,这确实有效。但据了解,这种方法将所有内容加载到一个节点中。可能有大量的数据。所以,这不是选项。 处理此类问题的最佳做法是什么?