当前位置: 首页 > 知识库问答 >
问题:

从技术上看,s3n、s3a和S3有什么区别?

养学
2023-03-14

我知道https://wiki.apache.org/hadoop/amazons3的存在,以及下面的文字:

val data = sc.textFile("s3n://bucket-name/key")

val data = sc.textFile("s3a://bucket-name/key")

这一变化背后的技术差异是什么?在这方面有什么好的文章我可以读到吗?

共有1个答案

景胜涝
2023-03-14

URI方案上的字母更改产生了很大的差异,因为它导致使用不同的软件与S3接口。有点像http和https之间的区别--这只是一个字母的变化,但它在行为上引发了很大的差异。

s3和S3N/S3A之间的区别在于,s3是Amazon s3之上的基于块的覆盖层,而S3N/S3A不是(它们是基于对象的)。

s3n和s3a的不同之处在于,s3n最大支持5GB大小的对象,而s3a最大支持5TB大小的对象,性能更高(都是因为它采用了多部分上传)。s3a是S3N的后继。

如果您来到这里是因为想要了解您应该在Amazon EMR中使用哪个S3文件系统,那么请阅读Amazon的这篇文章(仅在wayback machine上可用)。网络是:使用S3:///,因为S3://和S3n://在EMR上下文中功能可互换,而S3a://与EMR不兼容。

有关其他建议,请阅读使用存储和文件系统。

 类似资料:
  • 问题内容: 我使用OpenJDK已有很长时间了,最​​初是用于没有问题的小型项目。但是,由于我开始使用它处理大型玩具,所以我开始注意到随机/未知的致命错误和崩溃(使用H.264编解码器等),直到那时,系统崩溃和致命错误才成为噩梦由OpenJDK引起。 在对OpenJDK感到完全沮丧和厌倦之后,我最终决定切换到Oracle JDK7。从那以后,我的致命错误/崩溃就消失了。我仍在进行跟踪以查看是否发生

  • 本文向大家介绍使用区块链技术有什么好处?相关面试题,主要包含被问及使用区块链技术有什么好处?时的应答技巧和注意事项,需要的朋友参考一下 回答:使用区块链技术的主要好处如下: 增强安全性 改进的可追溯性 节约成本 用户假名 不变性 交易的透明度 自动对帐 欺诈控制 中介服务不付款

  • 问题内容: 我使用OpenJDK已有很长时间了,最​​初是用于没有问题的小型项目。但是,由于我开始使用它处理大型玩具,所以我开始注意到随机的/未知的致命错误和崩溃(使用H.264编解码器等),直到那时,系统崩溃和致命错误才成为噩梦由OpenJDK引起。 在对OpenJDK感到完全沮丧和厌倦之后,我最终决定切换到OracleJDK7。从那以后,我的致命错误/崩溃就消失了。我仍在进行跟踪以查看是否发生

  • 我已经使用OpenJDK很久了,最初是用于它没有问题的小项目。但是自从我开始把它当作大玩具来玩,我开始注意到随机的/未知的致命错误和崩溃(使用H.264编解码器等),在此之前,系统崩溃+由OpenJDK引起的致命错误是一场噩梦。 在对OpenJDK感到完全沮丧和厌倦之后,我最终决定切换到Oracle JDK7。从那时起,我的致命错误/崩溃就消失了。我仍然在做跟踪看看它是否发生,但我从来没有得到那些

  • 问题内容: 两者都意味着空间,但是有什么区别吗? 问题答案: 一个是不间断空间,另一个是常规空间。不间断的空格表示该行不应在该点处换行,就像它不会在一个单词的中间换行一样。 此外,正如斯文德(Svend)在其评论中指出的那样,不间断的空间不会崩溃。

  • 本文向大家介绍<%# %> 和 <% %> 有什么区别?相关面试题,主要包含被问及<%# %> 和 <% %> 有什么区别?时的应答技巧和注意事项,需要的朋友参考一下 答:<%# %>表示绑定的数据源 <%%>是服务器端代码块