无法连接到minio-s3 spark
我试图连接到使用火花minio提供的s3，但它是说桶迷你库不存在。（
val spark = SparkSession.builder().appName("AliceProcessingTwentyDotTwo")
.config("spark.serializer", "org.apache.spark.serializer.KryoSerializer").master("local[1]")
.getOrCreate()
val sc= spark.sparkContext
sc.hadoopConfiguration.set("fs.s3a.impl", "org.apache.hadoop.fs.s3a.S3AFileSystem")
sc.hadoopConfiguration.set("fs.s3a.endpoint", "http://localhost:9000")
sc.hadoopConfiguration.set("fs.s3a.access.key", "minioadmin")
sc.hadoopConfiguration.set("fs.s3a.secret.key", "minioadmin")
sc.hadoopConfiguration.set("fs.s3`a`.path.style.access", "true")
sc.hadoopConfiguration.set("fs.s3a.connection.ssl.enabled","false")
sc.textFile("""s3a://minikube/data.json""").collect()
我正在使用以下指南进行连接。
https://github.com/minio/cookbook/blob/master/docs/apache-spark-with-minio.md
这些是我在scala中使用的依赖项。
"org.apache.spark " %% "spack-core"%"2.4.0"，"org.apache.spark " %% "spack-sql"%"2.4.0"，"com.amazonaws"%"AWS-java-sdk"%"1.11.712"，"org.apache.hadoop"%"hadoop-aws"%"2.7.3"，
共有1个答案
尝试没有hadoop的火花2.4.3，并使用Hadoop 2.8.2或3.1.2。在尝试了下面链接中的步骤后，我可以使用cli连接minio
https://www.jitsejan.com/setting-up-spark-with-minio-as-object-storage.html
-
问题内容： 我正在尝试使用Ruby on Rails运行Selenium的示例脚本。我必须使用代理运行它。这是我的代码： 我收到以下错误： 有人能帮我吗…？我已经尝试了好几个小时，却找不到问题…真的不知道该怎么办。 环境： Ubuntu 16.04 LTS，Firefox 45.0，rbenv 2.3.1 另一个问题：有人知道Selenium + Ruby on Rails的示例吗？我找不到真正好
-
我正在尝试连接到MySQL服务器，但出现无法处理的错误。 java.sql.SQLNonTransientConnectionException:无法创建到数据库服务器的连接。尝试重新连接3次。放弃。com.mysql.cj.jdbc.exceptions.SQLError.createSQLException（SQLError.java:110）com.mysql.cj.jdbc.excepti
-
我真的想不通为什么我不能用下面的代码连接到我的Django项目内的JQuery。你能告诉我是什么原因吗？多谢！ null null
-
我正在尝试使用Android studio提供的工具将我的Android应用程序连接到firebase，但我面临着很多麻烦。 我已经尝试更新依赖到最新的最新的谷歌服务，但错误仍然存在，显示的错误是无法解析Android应用模块的Gradle配置。解决分级生成问题和/或重新同步。 分级/应用程序a
-
我正在开发Selenium，目前我有一个连接到两个运行linux和所有浏览器的虚拟机的集线器。 我能够启动浏览器，直到它突然停止。火狐或任何其他浏览器都不会启动。我得到以下错误。 45000 ms后无法连接到端口7055上的主机127.0.0.1。 我运行Selenium服务器独立2.26与火狐16.0.2. 请帮忙。
-
Q-我安装了git以获取最新版本的Angular。当我尝试运行时 我连接到github 443错误失败 我甚至试过 这使我无法连接，没有错误消息。 我在公司防火墙后面。转到控制面板时，我看不到我的代理详细信息- 我终于做到了。我将更新我所采取的程序，以便只是想编译我所做的所有步骤，以使它正常工作