当前位置: 首页 > 知识库问答 >
问题:

无法解析Spark结构化流kafka依赖项

寇坚成
2023-03-14

我试过了

./spark-2.3.1-bin-hadoop2.7/bin/spark-submit --packages org.apache.spark:spark-sql-kafka-0-10_2.11:2.3.1 test.py 

在我自己的电脑里,一切都很好。但是我在我学校的服务器上试过之后,它有以下的消息和错误。我在谷歌搜索了很久,完全不知道。有人能帮我吗?

Ivy默认缓存设置为:/home/zqwang/.ivy2/jars::loading settings::url=jar:file:/data/opt/tmp/zqwang/spark-2.3.1-bin-hadoop2.7/jars/ivy-2.4.0.jar!/org/apache/Ivy/core/settings/ivysettings.xml org.apache.spark#spark-sql-kafka-0-102.2.11添加为依赖项::解析依赖项::org.apache.spark#spark-sql-kafka-0-102.11中存储的包的JAR缓存

模块项目conf number searchdwnldedevicted numberdwnlded

默认值1 0 0 0 0 0

未找到警告模块:org.apache.spark#spark-sql-kafka-0-102.11;2.3.1

====本地-M2-缓存:已尝试

文件:/home/zqwang/.m2/repository/org/apache/spark/spark-sql-kafka-0-10_2.11/2.3.1/spark-sql-kafka-0-102.11-2.3.1.pom

-- artifact

org.apache.spark#spark-sql-kafka-0-102.11;2.3.1!spark-sql-kafka-0-102.11.jar:

文件:/home/zqwang/.m2/repository/org/apache/spark/spark-sql-kafka-0-10_2.11/2.3.1/spark-sql-kafka-0-102.11-2.3.1.jar

====local-ivy-cache:已尝试

/home/zqwang/.ivy2/local/org.apache.spark/spark-sql-kafka-0-102.11/2.3.1/ivys/ivy.xml

-- artifact

org.apache.spark#spark-sql-kafka-0-102.11;2.3.1!spark-sql-kafka-0-102.11.jar:

/home/zqwang/.ivy2/local/org.apache.spark/spark-sqL-kafka-0-10_2.11/2.3.1/jars/spark-sqL-kafka-0-10_2.11.jar

====Central:已尝试

-- artifact

https://repo1.maven.org/maven2/org/apache/spark/spark-sql-kafka-0-10_2.11/2.3.1/spark-sql-kafka-0-102.11-2.3.1.jar

====火花-包:已尝试

http://dl.bintray.com/spark-packages/maven/org/apache/spark/spark-sql-kafka-0-10_2.11/2.3.1/spark-sql-kafka-0-102.11-2.3.1.pom

-- artifact

org.apache.spark#spark-sql-kafka-0-102.11;2.3.1!spark-sql-kafka-0-102.11.jar:

http://dl.bintray.com/spark-packages/maven/org/apache/spark/spark-sql-kafka-0-10_2.11/2.3.1/spark-sql-kafka-0-10_2.11-2.3.1.jar

  ::::::::::::::::::::::::::::::::::::::::::::::

  ::          UNRESOLVED DEPENDENCIES         ::

  ::::::::::::::::::::::::::::::::::::::::::::::

  :: org.apache.spark#spark-sql-kafka-0-10_2.11;2.3.1: not found

  ::::::::::::::::::::::::::::::::::::::::::::::

:::错误url https://repo1.maven.org/maven2/org/apache/spark/spark-sql-kafka-0-10_2.11/2.3.1/spark-sql-kafka-0-102.11-2.3.1.pom的服务器访问错误(java.net.connectException:连接被拒绝)

url https://repo1.maven.org/maven2/org/apache/spark/spark-sql-kafka-0-10_2.11/2.3.1/spark-sql-kafka-0-102.11-2.3.1.jar上的服务器访问错误(java.net.connectException:连接被拒绝)

url http://dl.bintray.com/spark-packages/maven/org/apache/spark/spark-sql-kafka-0-10_2.11/2.3.1/spark-sql-kafka-0-102.11-2.3.1.pom上的服务器访问错误(java.net.connectException:连接被拒绝)

url http://dl.bintray.com/spark-packages/maven/org/apache/spark/spark-sql-kafka-0-10_2.11/2.3.1/spark-sql-kafka-0-102.11-2.3.1.jar上的服务器访问错误(java.net.connectException:连接被拒绝)

::使用详细或调试消息级别了解线程“main”java.lang.RuntimeException:[unresolved dependency:org.apache.spark.spark#spark-sql-kafka-0-102.11;2.3.1:找不到]在org.apache.spark.deploy.sparksubmitutils$.resolveMavencoordines(sparksubmitutils:1303)在org.apache.spark.deploy.depleveMavences(depledencytils$.resolveMavences:53)在

共有1个答案

景震博
2023-03-14

但在我尝试了学校的服务器后,它出现了以下信息和错误

你的学校有防火墙防止远程软件包被下载。

例如,这个链接对我有效

 类似资料:
  • 我使用spark 2.2.1,kafka_2.12-1.0.0和scala从kafka获取一些json数据,但是,我只连接了kafka,没有数据输出。 这里是我的scala代码: 这是我的绒球.xml 我运行这段代码,控制台没有显示任何来自kafka的数据。 这里是控制台输出: 输出只是说我的消费者群体已经死亡。我的kafka运行良好,我可以使用控制台命令从“行为”主题中获取数据。总之,Kafka

  • 我有一个用于结构化流媒体的Kafka和Spark应用程序。特别是我的KafkaProducer具有以下配置: 然后我创建了一个ProducerRecord,如下所示: 其中,json。toString()表示一个JSON格式的字符串,这是我想在Spark中处理的值。现在,我主要做的是将Spark与Kafka主题联系起来,正如官方Spark结构化流媒体指南中所报道的那样: 然后 我有以下输出和异常:

  • 我是一名新的Android学习者,我正在为语言翻译制作我的第一个Android应用程序。在添加了一些依赖项之后,我遇到了一些问题。我该怎么解决这个问题? Gradle同步失败:无法解决配置的所有依赖项: app: dedegRuntimeClasspath。无法确定android.arch.lifecycle的工件: livedata: 1.1.1:脱机模式下没有缓存版本有关详细信息,请参阅IDE

  • 在过去的几个月里,我已经使用了相当多的结构化流来实现流作业(在大量使用Kafka之后)。在阅读了《Stream Processing with Apache Spark》一书之后,我有这样一个问题:有没有什么观点或用例可以让我使用Spark Streaming而不是Structured Streaming?如果我投入一些时间来研究它,或者由于im已经使用了Spark结构化流,我应该坚持使用它,而之

  • 我正在研究为Spark结构化流在kafka中存储kafka偏移量,就像它为DStreams工作一样,除了结构化流,我也在研究同样的情况。是否支持结构化流?如果是,我如何实现? 我知道使用进行hdfs检查点,但我对内置的偏移量管理感兴趣。 我期待Kafka存储偏移量只在内部没有火花hdfs检查点。