兼容pyspark的hadoop aws和aws adk版本2.4.4
我试图在maven https://mvnrepository.com/artifact/org.apache.hadoop/hadoop-aws/2.7.7和https://mvnrepository.com/artifact/com.amazonaws/aws-java-sdk/1.7.4这两个库的帮助下，使用pyspark从s3 buckets读写，这两个库确实很旧。我尝试了hadoop-aws和aws-java-SDK的不同组合，但它不适用于pyspark 2.4.4版本。有人知道Hadoop和java SDK的哪些版本与spark 2.4.4兼容吗？
共有1个答案
我正在使用以下内容：
Spark: 2.4.4
Hadoop: 2.7.3
Haddop-AWS: hadoop-aws-2.7.3.jar
AWS-JAVA-SDK: aws-java-sdk-1.7.3.jar
Scala: 2.11
适合我使用s3a://bucket-name/
（注意：对于PySPark，我使用aws-java-sdk-1.7.4.jar)，因为我不能使用
df.write.csv(path=path, mode="overwrite", compression="None")
-
这本书讲述的是 Swift 5.1，它是 Xcode 11 中包含的默认版本。你可以使用 Xcode 11 来编译用 Swift 5.1、Swift 4.2 或 Swift 4 写的代码。 当你使用 Xcode 11 编译 Swift 4 和 Swift 4.2 代码时，大部分 Swift 5.1 的功能是可用的。也就是说，下面的变更仅对 Swift 5.1 或后续版本生效： 返回不透明类型的函数
-
支持的版本 主版本 PHP兼容性 初始发行 支持 PHPUnit 9 PHP 7.3, PHP 7.4 2020年2月7日 支持将于2022年2月4日结束 PHPUnit 8 PHP 7.2, PHP 7.3, PHP 7.4 2019年2月1日 支持将于2021年2月5日结束 之前的版本 主版本 PHP兼容性 初始发行 支持 PHPUnit 7 PHP 7.1, PHP 7.2, PHP 7.3
-
我在pom上使用下面的代码。xml，但由于出现错误，我无法启动应用程序。我不想降级spring boot starter父版本。有什么解决办法吗？ 我得到了贝沃的错误 组织。springframework。豆。工厂BeanCreationException:创建名为“configurationPropertiesBeans”的bean时出错，该bean在类路径资源[org/springframew
-
我正在使用生成cacerts。 然后我使用，但我会遇到这样的例外： 这是兼容性问题吗？使用一个版本的java生成的Cacert是否与另一个版本的java不兼容？
-
我目前正在开发一个基于Spring3.1.2的项目，该项目需要在GAE上运行。 我是一个全新的谷歌应用程序引擎，所以...任何技巧来解决这个问题是欢迎的！（我已经花了一上午的时间去寻找问题所在，并尝试了太多不同的方法来解决它……但没有办法）。 预先非常感谢您的建议；）
-
哪个Scala版本适用于Spark 2.2。0 ? 我发现以下错误： 异常线程"main"java.lang.NoSuchMultiodError： scala。Predef$. refArrayOps（[Ljava/lang/Object；）Lscala/集合/可变/ArrayOps；